Combinaison de classificationsupervisée et non-
   supervisée par la théorie des fonctions de croyance


                                FatmaKarem(1)

                                MounirDhibi(1)
 Unité de Recherche PMI 09/UR/13-0, Campus Universitaire Zarouk Gafsa 2112, Tunisie

                               ArnaudMartin(2)
      Université de Rennes 1, UMR 6074 IRISA, Rue Edouard Branly BP 30219, 22302
                                  Lannion Cedex, France
                                                           Combinaison du supervisé et non
17/05/2012                               1
                                                                                supervisé
PLAN

     Problématique

     Fusion de classifeurs

     Théorie de fonction de croyance

     ApprocheProposée

     Résultats

     Conclusion et Perspectives




                                        Combinaison du supervisé et non
17/05/2012                     2
                                                             supervisé
Problématique (1/2)



     Multitude des méthodes: laquelle choisir ?
     Incertitude liée aux données manipulées : données fausses parfois, données
      manquantes

                 Quelle méthode choisir
                 en fonction des                        Comment choisir
                 données                                les paramètres des
                 Manipulées ???                         méthodes
                                                        choisies ???


                 Solution possible : combinaison entre le non supervisé et le
                 supervisé
                                                                  Combinaison du supervisé et non
    17/05/2012                                3
                                                                                       supervisé
Problématique (2/2)

       Exploiter la complémentarité des deuxapproches
       Réduction des problèmes liés au choix des paramètres surtout pour le clustering
       Réduction des problèmes liés à l'apprentissage


                                   Comment fusionner ???



          Approche:
                Tenant compte de l'aspect d'incertitude et d'imprécision liés à notre
                 problématique
                Traitant le conflit entre les deux types de méthodes

                                                                        Combinaison du supervisé et non
17/05/2012                                        4
                                                                                             supervisé
Fusion (1/1)
Combinaison des informations issues des sources imparfaites afin
d'améliorer la prise de décision en tenant compte des imprécisions et
incertitude
Combinaison    des informations issues des sources imparfaitespour
apparaître des conflits

                  Comment traiter ces imperfections ??
                 Suppression

                  Tolérance

                  Modélisation




    Solution la plus adéquate : modélisation

        Théories de l'incertain

   Exemples : théorie des probabilités (approche bayésienne), théorie des
possibilités, théorie des fonctions de croyance(Dempster-Shafer)

                                                         Combinaison du supervisé et non
    17/05/2012                               5
                                                                              supervisé
Théorie des fonctions
                     de croyance (1/2)

Principe : La théorie manipule des fonctions définies sur des sous-ensembles (non des
singletons comme en théorie des probabilités) à valeurs dans [0,1]

   Modélisation

Cadre de discernement : Ө = {θi, i=1,…,n} où θisont les classes/ hypothèses exclusives et
exhaustives




Les fonctions de croyance sont définies sur 2Өoù Ө représente l’ignorance et l’ouverture au
monde hors Ө.

Avec A un élement focal si m(A)>0




                                                                    Combinaison du supervisé et non
17/05/2012                                     6
                                                                                         supervisé
Théorie des fonctions
                        de croyance (2/2)
     Croyance en A




      Masse totale d’information impliquant l’occurrence de A

     Plausibilité de A




      Masse totale d’information consistante avec A

       En général :



                                                                 Combinaison du supervisé et non
17/05/2012                                     7
                                                                                      supervisé
Approche Proposée (1/3)
                                                                 Base d’apprentissage



              Clustering                     Classification
                                              supervisée
                                                              Comment trouver
                                                                    un
                                                              Consensus entre
                                                                 les deux




                           Prise de décision

                                                               Combinaison du supervisé et non
17/05/2012                               8
                                                                                    supervisé
Approche Proposée (2/3)
Source 1                                                              Source 2

              Classification                Classification
             non-supervisée                  supervisée


                        clusters                             classes



   mNS                                                                          mS
                                   Combinaison


                                    Prise de                  Dégager à quelle
                                    décision                  classe appartient
                                                                chaque objet
                                    Décision
                                     finale
                                                             Combinaison du supervisé et non
17/05/2012                              9
                                                                                  supervisé
Approche Proposée (3/3)
Il faut modéliser nos croyances aux classes dégagées par le supervisé?



               Classification non-                         Classification                 Etape 1
                   supervisé                                 supervisé



                                                                 Modèle probabiliste
     Calcul de similarité                                           d’Appriou
      entre clusters et
        classes par
       recouvrement
                                         Combinaison par                             Etape 2
                                           conjonction



                                         Prise de décision                           Etape 3
                            Adoption du critère de probabilité pignistique




                                                                       Combinaison du supervisé et non
17/05/2012                                       10
                                                                                            supervisé
Fonctionnement
      calcul des fonctions de masses des deux côtés non-supervisé
    et supervisé         Calcul des masses pour du
                  Clustering
                                 côté non-supervisé         Classification
             C1                                                                                 C2

                                           C2
                                                       C1


                                           C3

    C4




                                           C6
                                                       C3



                      C5                                                                       C4

                                                     Calcul de
                                                     recouvrement            Combinaison du supervisé et non
17/05/2012                                      11
                                                                                                  supervisé
Calcul des fonctions de masses
           du côté non-supervisé (1/2)
                                                                 Calcul de recouvrement
                                                           C1

                                                                                                                   C2


                                                                                                                   C3

                                               C4



                                                                                                               C6




             Avec Q={    ,i=1,…..M} : ensemble des classes trouvés par le supervisé
             Et C={     ,i=1,…..n} : ensemble des clusters trouvés par le non-supervisé

                                                                                 Combinaison du supervisé et non
17/05/2012                                            12
                                                                                                      supervisé
Calcul des fonctions de masses
           du côté non-supervisé (2/2)




Avec qj la classe affectée par le classifieur supervisé au point xqila classe réelle,
le coefficient de fiabilité de la classification supervisée pourla classeqi




                                                            Combinaison du supervisé et non
17/05/2012                               13
                                                                                 supervisé
Résultats expérimentaux (1/4)


             Données            Taux de bonne       Taux de bonne
                                classification      classification
                                avant fusion        après fusion
             iris               97,33               100
             Abalone            53,67               76,35
             Breast-cancer      64,52               80
             Haberman           75,17               100

                        Résultats obtenus pour K-
                        PPV+FCM




                                                            Combinaison du supervisé et non
17/05/2012                                14
                                                                                 supervisé
Résultats expérimentaux (2/4)



             Données           Taux de bonne     Taux de bonne
                               classification    classification
                               avant fusion      après fusion
             iris              96                100
             Abalone           52                79,80
             Breast-cancer     96                100
             Haberman          73,83             77,74
                        Résultats obtenus pour Bayes+FCM




                                                         Combinaison du supervisé et non
17/05/2012                             15
                                                                              supervisé
Résultats expérimentaux (3/4)


             Données              Taux de bonne     Taux de bonne
                                  classification    classification
                                  avant fusion      après fusion
             iris                 97,33             100
             Abalone              53,10             78,69

             Breast-cancer        64,52             80
             Haberman             75,17             99,34
                    Résultats obtenus pour KPPV+Modèle de mélange




                                                            Combinaison du supervisé et non
17/05/2012                                 16
                                                                                 supervisé
Résultats expérimentaux (4/4)



             Données               Taux de bonne     Taux de bonne
                                   classification    classification
                                   avant fusion      après fusion
             Iris                  96                100
             Abalone               52                82,45

             Breast-cancer         96                100
             Haberman              73,83             77,74

                    Résultats obtenus pour Bayes + Modèle de mélange




                                                             Combinaison du supervisé et non
17/05/2012                                 17
                                                                                  supervisé
Conclusion et Perspectives

   •Conclusions

   Cette approche originale fondée sur la théorie des fonctions de croyance
   permet de lever certaines ambiguïtés et de gérer les conflits

    L’approche proposée a montré des résultats encourageants
   sur des données génériques

   • Perspectives

    Elargissement de la base de données
       Données manquantes
      Données mal-étiquettées
      Images réelles: images sonar, images médicales
    Amélioration du mécanisme de fusion



                                                        Combinaison du supervisé et non
17/05/2012                           18
                                                                             supervisé

Presentation egc2012v2final

  • 1.
    Combinaison de classificationsuperviséeet non- supervisée par la théorie des fonctions de croyance FatmaKarem(1) MounirDhibi(1) Unité de Recherche PMI 09/UR/13-0, Campus Universitaire Zarouk Gafsa 2112, Tunisie ArnaudMartin(2) Université de Rennes 1, UMR 6074 IRISA, Rue Edouard Branly BP 30219, 22302 Lannion Cedex, France Combinaison du supervisé et non 17/05/2012 1 supervisé
  • 2.
    PLAN  Problématique  Fusion de classifeurs  Théorie de fonction de croyance  ApprocheProposée  Résultats  Conclusion et Perspectives Combinaison du supervisé et non 17/05/2012 2 supervisé
  • 3.
    Problématique (1/2)  Multitude des méthodes: laquelle choisir ?  Incertitude liée aux données manipulées : données fausses parfois, données manquantes Quelle méthode choisir en fonction des Comment choisir données les paramètres des Manipulées ??? méthodes choisies ??? Solution possible : combinaison entre le non supervisé et le supervisé Combinaison du supervisé et non 17/05/2012 3 supervisé
  • 4.
    Problématique (2/2)  Exploiter la complémentarité des deuxapproches  Réduction des problèmes liés au choix des paramètres surtout pour le clustering  Réduction des problèmes liés à l'apprentissage Comment fusionner ???  Approche:  Tenant compte de l'aspect d'incertitude et d'imprécision liés à notre problématique  Traitant le conflit entre les deux types de méthodes Combinaison du supervisé et non 17/05/2012 4 supervisé
  • 5.
    Fusion (1/1) Combinaison desinformations issues des sources imparfaites afin d'améliorer la prise de décision en tenant compte des imprécisions et incertitude Combinaison des informations issues des sources imparfaitespour apparaître des conflits Comment traiter ces imperfections ?? Suppression  Tolérance  Modélisation  Solution la plus adéquate : modélisation Théories de l'incertain Exemples : théorie des probabilités (approche bayésienne), théorie des possibilités, théorie des fonctions de croyance(Dempster-Shafer) Combinaison du supervisé et non 17/05/2012 5 supervisé
  • 6.
    Théorie des fonctions de croyance (1/2) Principe : La théorie manipule des fonctions définies sur des sous-ensembles (non des singletons comme en théorie des probabilités) à valeurs dans [0,1]  Modélisation Cadre de discernement : Ө = {θi, i=1,…,n} où θisont les classes/ hypothèses exclusives et exhaustives Les fonctions de croyance sont définies sur 2Өoù Ө représente l’ignorance et l’ouverture au monde hors Ө. Avec A un élement focal si m(A)>0 Combinaison du supervisé et non 17/05/2012 6 supervisé
  • 7.
    Théorie des fonctions de croyance (2/2)  Croyance en A Masse totale d’information impliquant l’occurrence de A  Plausibilité de A Masse totale d’information consistante avec A  En général : Combinaison du supervisé et non 17/05/2012 7 supervisé
  • 8.
    Approche Proposée (1/3) Base d’apprentissage Clustering Classification supervisée Comment trouver un Consensus entre les deux Prise de décision Combinaison du supervisé et non 17/05/2012 8 supervisé
  • 9.
    Approche Proposée (2/3) Source1 Source 2 Classification Classification non-supervisée supervisée clusters classes mNS mS Combinaison Prise de Dégager à quelle décision classe appartient chaque objet Décision finale Combinaison du supervisé et non 17/05/2012 9 supervisé
  • 10.
    Approche Proposée (3/3) Ilfaut modéliser nos croyances aux classes dégagées par le supervisé? Classification non- Classification Etape 1 supervisé supervisé Modèle probabiliste Calcul de similarité d’Appriou entre clusters et classes par recouvrement Combinaison par Etape 2 conjonction Prise de décision Etape 3 Adoption du critère de probabilité pignistique Combinaison du supervisé et non 17/05/2012 10 supervisé
  • 11.
    Fonctionnement  calcul des fonctions de masses des deux côtés non-supervisé et supervisé Calcul des masses pour du Clustering côté non-supervisé Classification C1 C2 C2 C1 C3 C4 C6 C3 C5 C4 Calcul de recouvrement Combinaison du supervisé et non 17/05/2012 11 supervisé
  • 12.
    Calcul des fonctionsde masses du côté non-supervisé (1/2) Calcul de recouvrement C1 C2 C3 C4 C6 Avec Q={ ,i=1,…..M} : ensemble des classes trouvés par le supervisé Et C={ ,i=1,…..n} : ensemble des clusters trouvés par le non-supervisé Combinaison du supervisé et non 17/05/2012 12 supervisé
  • 13.
    Calcul des fonctionsde masses du côté non-supervisé (2/2) Avec qj la classe affectée par le classifieur supervisé au point xqila classe réelle, le coefficient de fiabilité de la classification supervisée pourla classeqi Combinaison du supervisé et non 17/05/2012 13 supervisé
  • 14.
    Résultats expérimentaux (1/4) Données Taux de bonne Taux de bonne classification classification avant fusion après fusion iris 97,33 100 Abalone 53,67 76,35 Breast-cancer 64,52 80 Haberman 75,17 100 Résultats obtenus pour K- PPV+FCM Combinaison du supervisé et non 17/05/2012 14 supervisé
  • 15.
    Résultats expérimentaux (2/4) Données Taux de bonne Taux de bonne classification classification avant fusion après fusion iris 96 100 Abalone 52 79,80 Breast-cancer 96 100 Haberman 73,83 77,74 Résultats obtenus pour Bayes+FCM Combinaison du supervisé et non 17/05/2012 15 supervisé
  • 16.
    Résultats expérimentaux (3/4) Données Taux de bonne Taux de bonne classification classification avant fusion après fusion iris 97,33 100 Abalone 53,10 78,69 Breast-cancer 64,52 80 Haberman 75,17 99,34 Résultats obtenus pour KPPV+Modèle de mélange Combinaison du supervisé et non 17/05/2012 16 supervisé
  • 17.
    Résultats expérimentaux (4/4) Données Taux de bonne Taux de bonne classification classification avant fusion après fusion Iris 96 100 Abalone 52 82,45 Breast-cancer 96 100 Haberman 73,83 77,74 Résultats obtenus pour Bayes + Modèle de mélange Combinaison du supervisé et non 17/05/2012 17 supervisé
  • 18.
    Conclusion et Perspectives •Conclusions Cette approche originale fondée sur la théorie des fonctions de croyance permet de lever certaines ambiguïtés et de gérer les conflits  L’approche proposée a montré des résultats encourageants sur des données génériques • Perspectives  Elargissement de la base de données  Données manquantes Données mal-étiquettées Images réelles: images sonar, images médicales  Amélioration du mécanisme de fusion Combinaison du supervisé et non 17/05/2012 18 supervisé