the naive bayesien classifier

1. Réalisé par :
•Medjek Kenza
•Alik Amrane

3. Il ne s'agit pas d'atteindre un résultat vrai
ou faux, probable ou improbable, mais seulement profitable
ou non profitable . Lance et Williams (1967).
Cette phrase résume en termes simples le sujet dont il est
question dans cet exposé.
La classification bayésienne naïve qui est une approche probabiliste
de classification simple .
Cette approche est basée sur un modèle probabiliste dérivant du
théorème de Bayes .

4.  P(Y) : La probabilité à priori
 P(X/Y) : La probabilité conditionnelle d’appartenance à la classe c, qui peut être interprété
comme la vraisemblance de cette classe.
 Probabilité a priori : Une probabilité a priori est la probabilité d'affectation d'une observation à
un groupe avant la collecte des données.
 Probabilité a postériori : Une probabilité a posteriori est la probabilité d'affectation des
observations à des groupes d'après les données
 Le symbole ¬ signifie la négation ( ¬froid = chaud)

5. Les réseaux bayésien sont des modelés qui permettent de
représenter des situation de Raisonnement probabiliste basé
sur le théorème de bayes exprimé par cette formule
Et ce a partir de connaissance incertaine
Les RB associent une partie qualitative que son les graphes et
une partie Quantitative représentant les probabilités
conditionnelles associes a chaque nœud de graphe relativement
au parent

6. La méthode de classification naïve bayésienne est un
algorithme d'apprentissage supervisé (supervised machine
learning) qui permet de classifier un ensemble d'observations
selon des règles déterminées par l'algorithme lui-même,
Cet outil de classification doit dans un premier temps être
entrainé sur un jeu de données d'apprentissage qui montre la
classe attendue en fonction des entrées.
Pendant la phase d'apprentissage, l'algorithme élabore ses
règles de classification sur ce jeu de donnée, pour les appliquer
dans un second temps à la classification d'un jeu de données de
prédiction.

7. le modèle probabiliste pour un classificateur bayésien
est un modèle conditionnel. Il se base sur la règle de
bayes qui s'énonce de la manière suivante :
Le caractère "naïf" de ce théorème vient du fait qu'on
suppose l'indépendance des différentes classes Bi...Bj.
Ce qui en d'autres termes se traduit par :

8. Pour mettre en place un classifieur naïf de Bayes :
 On détermine un ensemble d’apprentissage
 On détermine des probabilités à priori de chaque classe (par
exemple en observant les effectifs)
 On applique la règle de Bayes :
 pour obtenir la probabilité à posteriori des classes au point
x.
 On choisit la classe la plus probable.

9. Supposons que nous disposons de n catégories de documents,
déterminer à quelle catégorie Ci sera associée un document D
revient à calculer la probabilité d'appartenance du document D à la
catégorie Ci.
En se basant sur le théorème précédemment énoncé, on peut
calculer cette probabilité de la façon suivante :

10. le calcule de P (D|Ci) revient à calculer le produit des probabilités
d'apparition de chaque mot Wi dans la catégorie C. Ce qui permet
finalement d'écrire :
P (Ci) est calculé en divisant le nombre total de mots pour
la catégorie Ci par la somme du nombre total de mots dans toute les
catégories.
D'où la formulation suivante :

11. Pour mieux comprendre le Naive Bayes Classifier, déroulons-le sur
un exemple simple.
Supposons qu’on ait un jeu de données sur 1000 fruits. On dispose
de trois types : Banane, Orange, et « autre ». Pour chaque fruit,
on a 3 caractéristiques :
 Si le fruit est long ou non
 S’il est est sucré ou non
 Si sa couleur est jaune ou non

12. Notre jeu de données se présente comme suit :

13. Note :
Supposons que quelqu’un nous demande de lui donner le type d’un fruit qu’il a. Ses caractéristiques sont les suivantes :
 Il est jaune
 Il est long
 Il est sucré
Pour cela on calcule les probabilités suivantes:
 P(Banane | long, jaune, sucre)
 P(Orange | long, jaune, sucre)
 P(Autre fruit | long, jaune, sucre)

14. Le type du fruit « inconnu » qu’on cherche à classifier sera celui où on a la plus grande probabilité il est long sucré et jaune.
Selon la formule de Bayes, on a :
 P(Banane | long, jaune, sucre)=
On commence par calculer certaine probabilités :
Avec la même formule :
 P(Orange) = 0.3
 P(Autre fruit) = 0.2
 P(Long) = 0.5
 P(Sucre) = 0.65
 P(Jaune) = 0.8

15. Calculons maintenant le terme : P(Long | Banane)
Avec la même logique, on peut calculer les probabilités suivantes : P(Sucre | Banane) et P(Jaune | Banane).
Maintenant, qu’on a toutes nos probabilités utiles pour notre calcul, on peut calculer la probabilité suivante :
Avec la même logique on obtient :
P(Orange | long, jaune, sucre) = 0
P(Autre fruit | long, jaune, sucre) = 0.072

16. Avantages
 La classification naïve bayésienne est très rapide pour la
classification : en effet les calculs de probabilités ne sont pas
très coûteux.
 La classification est possible même avec un petit jeu de
données
Inconvénients
 L’algorithme de classification bayésienne suppose
l’indépendance des variables : C’est une hypothèse forte et qui
est violée dans la majorité des cas réels.

17. Nous avons illustré dans ce travail , comment ce fait la
classification naïve bayésienne par rapport a deux type de
données qui sont les données numérique et les données
textuelles , nous avons constaté Que les réseaux bayésien
possèdent tous les avantages des modèles probabiliste
standards.