SlideShare une entreprise Scribd logo
Études empiriques sur
     l’évolution de la qualité logicielle



                        Tom Mens, Leandro Doctors
                     {tom.mens | leandro.doctors}@umons.ac.be
              Naji Habra, Benoît Vanderose, Flora Kamseu
              {naji.habra | benoit.vanderose | flora.kamseu}@fundp.ac.be




3èmes Journées du GDR Génie de la Programmation et du Logiciel (GPL)
                    8–10 juin, 2011, Lille, France
Plan


         •  Contexte
         •  Méthodologie et framework
            de qualité
         •  Questions de recherche
         •  Résultats préliminaires



Journées du GDR GPL, 8-10 juin, 2011, Lille, France          2 / 29
Contexte

         •  Projet FEDER – portefeuille TIC
               •  CE-IQS: Centre d’Expertise en Ingénierie et Qualité des
                  Systèmes
                     –  Thématique: “Méthodologies pour dévéloper et évoluer les
                        systèmes logiciels”
               •  Workpackage QUALGEN
                     –  Modéliser et évoluer la qualité de différents points de
                        vue
                     –  Utiliser un métamodèle et framework de qualité pour
                        étudier et controler la qualité des projets logiciels tout
                        au long de leur évolution


Journées du GDR GPL, 8-10 juin, 2011, Lille, France                                  3 / 29
Contexte
         •  L’évolution logicielle peut affecter plusieurs aspects
            de la qualité d’un système logiciel
               –  complétude, cohérence, fiabilité, maintenabilité, etc.


         •  Des études empiriques permettent d’étudier cette
            relation

         •  Le but à moyen terme étant d’améliorer les méthodes
            et outils de contrôle et d’amélioration de qualité



Journées du GDR GPL, 8-10 juin, 2011, Lille, France                        4 / 29
Contexte
         •  Difficultés rencontrées lors des études empiriques
               –  Difficultés de trouver des sujets pour les expériences
               –  Difficulté d’accès à des données industrielles
               –  Divergences et incohérences dans les méthodes et les outils
                  de mesure
               –  Manque de connaissance sur la relation entre les divers
                  aspects de la qualité logicielle au sein d’un même projet

         •  Solutions possibles
               –  Se focaliser sur des données « open source »
               –  Faire des études sur des groupes d’étudiants au sein de
                  différentes universités
               –  Utiliser la methodologie MoCQA

Journées du GDR GPL, 8-10 juin, 2011, Lille, France                             5 / 29
Contexte
                                                      Projet   •  Passer d’une perspective
                             Analyse
                                                                  « code » à une perspective
                            de besoins                            projet


                                             Plan de test
                                                               •  Étudier, au sein d’un projet,
             Design                         (acceptation)         les relations entre plusieurs
                                                                  aspects de qualité et
                                                                  plusieurs artéfacts
                                            Plan de test
              Code                           (unitaires)
                                                               •  Intégrer:
                                                                   –    différents artéfacts
                                                                   –    différent points de vues
         Exécutable                       Documentation
                                                                   –    différentes notions de qualité
                                                                   –    l’aspect évolutif



Journées du GDR GPL, 8-10 juin, 2011, Lille, France                                                      6 / 29
Contexte
                                                           •  Passer d’une perspective
   Ecosystème                                                 projet à une perspective
                                                              écosystème
    Projet-1           Projet-2         …       Projet-n

                                                           •  Étudier, au sein d’un
                                                              écosystème, la qualité de
                                                              plusieurs projets, la relation
                                                              entre eux et la communauté




Journées du GDR GPL, 8-10 juin, 2011, Lille, France                                       7 / 29
Méthodologie

   Framework MoCQA (Model-Centric Quality Assessment)

   •    Framework d’assistance à l’évaluation de la qualité au niveau du projet
         –  Structure la définition des mesures et des artéfacts mesurés
         –  Intègre et structure les relations entre les artefacts/mesures/indicateurs de
            qualité
   •    Repose sur l’utilisation de modèles MoCQA
         = modèles de qualité opérationnel et taillé sur mesure
           structure l’information nécessaire pour le processus d’évaluation de qualité
             •  Que mesurer? Comment le mesurer? Dans quel but? Pour qui?




Journées du GDR GPL, 8-10 juin, 2011, Lille, France                                    8 / 29
Méthodologie




   •    Méthodologie d’évaluation de la qualité basée sur un modèle
         permet de d’expliciter les hypothèse pour les expérimentations
   •    Plusieurs niveaux de révision du modèle du processus d’évaluation
          permet de réviser les hypothèses des expérimentations


Journées du GDR GPL, 8-10 juin, 2011, Lille, France                         9 / 29
Méthodologie




Journées du GDR GPL, 8-10 juin, 2011, Lille, France        10 / 29
Méthodologie

    Quality-related

           Definition or reuse of a
           hierarchy of quality issues




Journées du GDR GPL, 8-10 juin, 2011, Lille, France        11 / 29
Méthodologie

    Measurement-related

    Definition or reuse of
    measurement method

    Associated to the quality
    factors




Journées du GDR GPL, 8-10 juin, 2011, Lille, France        12 / 29
Méthodologie

    Project-related
           Project vs product
           Software ≠ black-box
           Scope = project




Journées du GDR GPL, 8-10 juin, 2011, Lille, France        13 / 29
Exemple d’un modèle MoCQA
Exemple d’un modèle
de qualité
(instantiation du
métamodèle MoCQA)




Journées du GDR GPL, 8-10 juin, 2011, Lille, France   14 / 29
Questions de recherche
         •  Quelle est la relation entre l’évaluation objective et
            subjective d’un attribut de qualité d’un artéfact?
                                                                   But: approximation par une méthode
                 Artéfact A
             (p.e., plan de test)                                     automatisée
                                Attribut X (p.e., complétude)      •  Avantages
                                Méthode: objective (mesure)            –  Gain de temps (automatisation)
                                (p.e., test coverage tool)
                                                                       –  Plus aisément répétable au cours
                                                                          du cycle d’évolution
                                                                       –  Evite l’évaluation « à la tete du
                                                      estimation
                                                                          client »
                 Artéfact A
             (p.e., plan de test)                                  •  Risque
                                Attribut X (p.e., complétude)          –  Les éléments non pris en compte
                                Méthode: subjective (évaluation)          par la méthode objective sont-ils
                                                                          pertinents?

Journées du GDR GPL, 8-10 juin, 2011, Lille, France                                                    15 / 29
Questions de recherche
         •  Quelle est la relation entre différents attributs de
            qualité pour un même artefact?
                                                                       But: construction de modèles
                  Artéfact A
             (p.e. code source)                                           prédictifs au cours du cycle
                                  Attribut X (p.e., lisibilité)
                                                                       •  Avantages
                                                                             –  Anticiper l’impact de la
                                                                                maintenance sur un artefact
                                                                                (p.ex. optimisation peut rendre
                                                                                le code moins lisible)
                  Artéfact A
             (p.e. code source)

                                  Attribut Y (p.e., efficacité / optimisation)



Journées du GDR GPL, 8-10 juin, 2011, Lille, France                                                       16 / 29
Questions de recherche
         •  Quelle est la relation entre différents attributs de
            qualité pour un même artefact?
                                                               But: construction de modèles
                  Artéfact A
            (p.e. design model)                                   prédictifs au cours du cycle
                               Attribut X (p.e., complétude)
                                                               •  Avantages
                                                                   –  Anticiper l’impact de la
                                                                      maintenance sur un artéfact

                   Artéfact A
             (p.e. design model)

                               Attribut Y (p.e., taille)



Journées du GDR GPL, 8-10 juin, 2011, Lille, France                                              17 / 29
Questions de recherche
         •  Quelle est la relation entre le même attribut de
            qualité pour différents artefacts?
                                                              But: construction de modèles
                  Artéfact A
            (p.e. design model)                                  prédictifs au cours du cycle
                               Attribut X (p.e. complétude)
                                                              •  Avantages
                                                                  –  Détection des problèmes de
                                                                     qualité tôt dans le processus
                                                                  –  Tracabilité des défauts au
                  Artéfact B                                         travers d’artéfacts à différents
             (p.e. code source)                                      niveaux d’abstraction
                               Attribut X (p.e. complétude)   •  Risque
                                                                  –  Dans quelle mesure le facteur
                                                                     humain influe sur la prédiction
                                                                     de cette relation?
Journées du GDR GPL, 8-10 juin, 2011, Lille, France                                             18 / 29
Etude empirique

         •  Comment mettre en place des expérimentations permettant
            d’étudier ces relations ?

                Formaliser des hypothèses sur les relations entre attributs de qualité
                 Garder trace de plusieurs méthodes de mesure d’une manière structurée
                 Trouver du support statistique pour confirmer les hypothèses


         •  Comment garantir la réplication des expérimentations?
                 Fournir un « replication package » permettant de repeter l’étude
                 Fournir une structure permettant de rapidement identifier les manques et
                  variations (artéfacts / méthodes de mesure) d’un contexte à l’autre




Journées du GDR GPL, 8-10 juin, 2011, Lille, France                                          19 / 29
Etude empirique
         •  Projet de génie logiciel à l’UMONS
               –  8 groupes de 2 étudiants
               –  Travail obligatoire pour le cours « génie logiciel »
               –  Plusieurs artéfacts produits: modèles UML, code Java, tests
                  JUnit, rapports pdf, Javadoc
         •  Évaluation subjective
               –  Par 4 enseignants sur tous les artéfacts pour différents
                  attributs de qualité
         •  Évaluation objective
               –  En utilisant des outils automatisés



Journées du GDR GPL, 8-10 juin, 2011, Lille, France                             20 / 29
Etude empirique
         •  Évaluation subjective
               –  Basé sur des questions précises pour chaque artéfact évalué
               –  En utilisant une échelle Lickert
                      •  excellent, très bien, bien, suffisant, insuffisant, mauvais, très mauvais,
                         inacceptable
               –  Evaluation des modèles UML (cohérence, complétude), code
                  source (style OO, complétude), tests (correctness,
                  complexité, complétude), exécution (convivialité,
                  complétude)
         •  Évaluation objective
               –  En utilisant Junit (test correctness), EclEmma (code et test
                  coverage), PMD (code quality), …


Journées du GDR GPL, 8-10 juin, 2011, Lille, France                                               21 / 29
Résultats Préliminaires
                                 Même artéfact, même attribut


                                                                       Artefact = unit tests
                 Unit Tests
                                                                       Objectives vs. subjectives
                               Attribut: complétude
                               Méthode: objective (mesure)
                                                                       •    2 méthodes objectives
                               (p.e., test coverage tool, test runs)
                                                                            % Test Coverage
                                                                            # Tests

                                                      estimation
                 Unit Tests
                                                                       •    évaluation subjectif

                                                                         Mettre en évidence une
                               Attribut: complétude                       relation d’approximation
                               Méthode: subjective (évaluation)




Journées du GDR GPL, 8-10 juin, 2011, Lille, France                                                  22 / 29
Résultats Préliminaires
                                 Même artéfact, même attribut


                                                      % classes couvertes par les tests
                                                      vs. évaluation subjective

                                                      •    p-value = 0.118
                                                      •    corrélation = 0.558

                                                        Corrélation pas
                                                         statistiquement significative
                                                        Granularité de la méthode
                                                         de mesure insuffisante




Journées du GDR GPL, 8-10 juin, 2011, Lille, France                                  23 / 29
Résultats Préliminaires
                                 Même artéfact, même attribut


                                                      % méthodes couvertes par les tests
                                                      vs. évaluation subjective

                                                      •    p-value = 0.024
                                                      •    corrélation = 0.735

                                                        Forte corrélation,
                                                         statistiquement significative
                                                        Granularité de la méthode de
                                                         mesure suffisante pour une
                                                         approximation




Journées du GDR GPL, 8-10 juin, 2011, Lille, France                                  24 / 29
Résultats Préliminaires
                                 Même artéfact, même attribut


                                                      % LoC couvertes par les tests
                                                      vs. évaluation subjective

                                                      •    p-value = 0.014
                                                      •    corrélation = 0.774

                                                        Forte corrélation,
                                                         statistiquement significative
                                                        Granularité de la méthode
                                                         de mesure suffisante pour
                                                         une approximation




Journées du GDR GPL, 8-10 juin, 2011, Lille, France                                   25 / 29
Résultats Préliminaires
                                 Même artéfact, même attribut


                                                      #tests
                                                      vs. évaluation subjective

                                                      •    p-value = 0.0177
                                                      •    corrélation = 0.759

                                                        Forte corrélation,
                                                         statistiquement significative
                                                        Couverture des méthodes et
                                                         #tests donnent des résultats
                                                         similaires




Journées du GDR GPL, 8-10 juin, 2011, Lille, France                                 26 / 29
Résultats Préliminaires
                                                      Conclusions préliminaires:

                                                      Artefact = unit tests
                                                      Méthode = objective vs.
                                                          subjective

                                                      •    Mise en évidence d’une relation
                                                           d’approximation possible dans
                                                           une majorité de cas

                                                      •    Minorité de cas où l’évaluation
                                                           objective est plus sévère

                                                       Étudier les facteurs qui rendent
                                                         l’évaluation subjective plus
                                                         efficace dans ses cas




Journées du GDR GPL, 8-10 juin, 2011, Lille, France                                        27 / 29
Résultats Préliminaires
                        différents artéfacts, différents attributs
                                                      Peut-on aller plus loin?

                                                      Évaluation subjective globale du
                                                          produit final (l’exécutable)
                                                      vs. Évaluation objective
                                                          (couverture de test)

                                                      •    p-value = 0.585
                                                      •    corrélation = 0.211

                                                        Essai infructueux

                                                        L’évaluation inclut-elle des
                                                         éléments parasites qui
                                                         empêchent la corrélation?


Journées du GDR GPL, 8-10 juin, 2011, Lille, France                                 28 / 29
Résultats Préliminaires
                        différents artéfacts, différents attributs


                                                      Deuxième version

                                                      Évaluation subjective de la
                                                          stabilité de l’exécutable
                                                      vs. Évaluation objective
                                                          (couverture de test)

                                                      •    p-value = 0.647
                                                      •    corrélation = 0.178

                                                        Essai infructueux
                                                        Corrélation encore plus
                                                         réduite



Journées du GDR GPL, 8-10 juin, 2011, Lille, France                                   29 / 29
Résultats Préliminaires
                                                      Conclusions préliminaires:

                                                      Modèles prédictifs
                                                      (qualité de test vs. stabilité de
                                                         l’exécutable)

                                                      •    La qualité de test n’est pas
                                                           corrélée à la qualité de
                                                           l’exécutable.

                                                      •    L’évaluation objective n’est pas
                                                           adaptée pour prédire la stabilité
                                                           de l’exécutable.




Journées du GDR GPL, 8-10 juin, 2011, Lille, France                                       30 / 29
Travaux Futurs
         •  Répéter l’expérience dans d’autres universités
         •  Raffiner les questions de recherche
         •  Trouver davantage de support statistiquement
            significatif




Journées du GDR GPL, 8-10 juin, 2011, Lille, France      31 / 29

Contenu connexe

En vedette

calameo-deber
calameo-debercalameo-deber
calameo-deber
Natasol
 
[Infographie Etude JLL] Enquête sur l’évolution de la fonction immobilière 2015
[Infographie Etude JLL] Enquête sur l’évolution de la fonction immobilière 2015[Infographie Etude JLL] Enquête sur l’évolution de la fonction immobilière 2015
[Infographie Etude JLL] Enquête sur l’évolution de la fonction immobilière 2015
JLL France
 
Präsentation dells 150708_de
Präsentation dells 150708_dePräsentation dells 150708_de
Präsentation dells 150708_de
Christian Alberto Dellsperger Wharwood
 
La comunicación
La comunicaciónLa comunicación
La comunicación
graemigercarla
 
Rincarnation
RincarnationRincarnation
Rincarnationmikou31
 
Comment faire mourir_une_nation
Comment faire mourir_une_nationComment faire mourir_une_nation
Comment faire mourir_une_nationdesintocx
 
los editores virtuales
los editores virtualeslos editores virtuales
los editores virtuales
hugocondoy
 
Offre technique animation de formation GPEEC
Offre technique animation de formation  GPEECOffre technique animation de formation  GPEEC
Offre technique animation de formation GPEEC
Nabil Gharib
 
Gartenparties katalodg 2012_a4
Gartenparties katalodg 2012_a4Gartenparties katalodg 2012_a4
Gartenparties katalodg 2012_a4Möbel Schott GmbH
 
Carrefour de l_air2_v2
Carrefour de l_air2_v2Carrefour de l_air2_v2
Carrefour de l_air2_v2Phil75
 
Projet carrière
Projet carrièreProjet carrière
Projet carrière
jesseduguay2
 
Rechtliche fragen beim öffnen von meta daten gedächtnisinstitutionen
Rechtliche fragen beim öffnen von meta  daten gedächtnisinstitutionenRechtliche fragen beim öffnen von meta  daten gedächtnisinstitutionen
Rechtliche fragen beim öffnen von meta daten gedächtnisinstitutionen
Open Knowledge Foundation
 
Présentation open coffee 2011
Présentation open coffee 2011Présentation open coffee 2011
Présentation open coffee 2011
ldecourcelle
 
Temoignage SilverDev - Moderniser l’existant en RPG avec SilverDev
Temoignage SilverDev - Moderniser l’existant en RPG avec SilverDevTemoignage SilverDev - Moderniser l’existant en RPG avec SilverDev
Temoignage SilverDev - Moderniser l’existant en RPG avec SilverDev
SilverDev by Experia
 
3.0 install de ubuntu server + tasksel + ftp
3.0 install de ubuntu server + tasksel + ftp3.0 install de ubuntu server + tasksel + ftp
3.0 install de ubuntu server + tasksel + ftpOsi Pallière
 

En vedette (18)

calameo-deber
calameo-debercalameo-deber
calameo-deber
 
[Infographie Etude JLL] Enquête sur l’évolution de la fonction immobilière 2015
[Infographie Etude JLL] Enquête sur l’évolution de la fonction immobilière 2015[Infographie Etude JLL] Enquête sur l’évolution de la fonction immobilière 2015
[Infographie Etude JLL] Enquête sur l’évolution de la fonction immobilière 2015
 
Präsentation dells 150708_de
Präsentation dells 150708_dePräsentation dells 150708_de
Präsentation dells 150708_de
 
La comunicación
La comunicaciónLa comunicación
La comunicación
 
Rincarnation
RincarnationRincarnation
Rincarnation
 
Comment faire mourir_une_nation
Comment faire mourir_une_nationComment faire mourir_une_nation
Comment faire mourir_une_nation
 
los editores virtuales
los editores virtualeslos editores virtuales
los editores virtuales
 
GFM Nachrichten - Mediadaten 2013
GFM Nachrichten - Mediadaten 2013GFM Nachrichten - Mediadaten 2013
GFM Nachrichten - Mediadaten 2013
 
Offre technique animation de formation GPEEC
Offre technique animation de formation  GPEECOffre technique animation de formation  GPEEC
Offre technique animation de formation GPEEC
 
Gartenparties katalodg 2012_a4
Gartenparties katalodg 2012_a4Gartenparties katalodg 2012_a4
Gartenparties katalodg 2012_a4
 
Carrefour de l_air2_v2
Carrefour de l_air2_v2Carrefour de l_air2_v2
Carrefour de l_air2_v2
 
2011 10 05 10-45 david lauchenauer
2011 10 05 10-45 david lauchenauer2011 10 05 10-45 david lauchenauer
2011 10 05 10-45 david lauchenauer
 
Projet carrière
Projet carrièreProjet carrière
Projet carrière
 
Rechtliche fragen beim öffnen von meta daten gedächtnisinstitutionen
Rechtliche fragen beim öffnen von meta  daten gedächtnisinstitutionenRechtliche fragen beim öffnen von meta  daten gedächtnisinstitutionen
Rechtliche fragen beim öffnen von meta daten gedächtnisinstitutionen
 
Observatoire de l'ANFR
Observatoire de l'ANFRObservatoire de l'ANFR
Observatoire de l'ANFR
 
Présentation open coffee 2011
Présentation open coffee 2011Présentation open coffee 2011
Présentation open coffee 2011
 
Temoignage SilverDev - Moderniser l’existant en RPG avec SilverDev
Temoignage SilverDev - Moderniser l’existant en RPG avec SilverDevTemoignage SilverDev - Moderniser l’existant en RPG avec SilverDev
Temoignage SilverDev - Moderniser l’existant en RPG avec SilverDev
 
3.0 install de ubuntu server + tasksel + ftp
3.0 install de ubuntu server + tasksel + ftp3.0 install de ubuntu server + tasksel + ftp
3.0 install de ubuntu server + tasksel + ftp
 

Similaire à Etudes empiriques sur l’evolution de la qualite logicielle

Modélisation des pratiques métiers pour améliorer la conception de collecticiels
Modélisation des pratiques métiers pour améliorer la conception de collecticielsModélisation des pratiques métiers pour améliorer la conception de collecticiels
Modélisation des pratiques métiers pour améliorer la conception de collecticiels
IHM'10
 
UML Part1-Introduction Mansouri
UML Part1-Introduction MansouriUML Part1-Introduction Mansouri
UML Part1-Introduction Mansouri
Mansouri Khalifa
 
Un exemple de méthodologie de conception orientée utilisateur de produits in...
 Un exemple de méthodologie de conception orientée utilisateur de produits in... Un exemple de méthodologie de conception orientée utilisateur de produits in...
Un exemple de méthodologie de conception orientée utilisateur de produits in...
M@rsouin
 
Thesis+of+nesrine+abdelkafi.ppt
Thesis+of+nesrine+abdelkafi.pptThesis+of+nesrine+abdelkafi.ppt
Thesis+of+nesrine+abdelkafi.ppt
Ptidej Team
 
20171122 - Accueil Club Qualité Logicielle
20171122 - Accueil Club Qualité Logicielle 20171122 - Accueil Club Qualité Logicielle
20171122 - Accueil Club Qualité Logicielle
LeClubQualiteLogicielle
 
2009-01-29 Squale aux Jeudis de l'Objet
2009-01-29 Squale aux Jeudis de l'Objet2009-01-29 Squale aux Jeudis de l'Objet
2009-01-29 Squale aux Jeudis de l'Objet
Fabrice Bellingard
 
Expression des besoins pour le SI
Expression des besoins pour le SIExpression des besoins pour le SI
Expression des besoins pour le SI
Nouhaila ALAMI
 
La documentation logicielle se transforme en gestion de stratégie de conten...
La documentation logicielle se transforme en gestion de stratégie de conten...La documentation logicielle se transforme en gestion de stratégie de conten...
La documentation logicielle se transforme en gestion de stratégie de conten...
Andy McDonald
 
2016-04-13 Anne Claire Jacob Poulin Gestion par projet dans un centre de R&D
2016-04-13 Anne Claire Jacob Poulin Gestion par projet dans un centre de R&D2016-04-13 Anne Claire Jacob Poulin Gestion par projet dans un centre de R&D
2016-04-13 Anne Claire Jacob Poulin Gestion par projet dans un centre de R&D
PMI Lévis-Québec
 
CV Jean-Yves ARNAUD
CV Jean-Yves ARNAUDCV Jean-Yves ARNAUD
CV Jean-Yves ARNAUD
jyarnaud
 
Approche cadre-logique
Approche cadre-logiqueApproche cadre-logique
Approche cadre-logiqueyoussefCASA
 
Les tests utilisateurs pour les petits budgets
Les tests utilisateurs pour les petits budgetsLes tests utilisateurs pour les petits budgets
Les tests utilisateurs pour les petits budgets
L_Demontiers
 
Priows présentation des résultats
Priows présentation des résultats Priows présentation des résultats
Priows présentation des résultats
Gilbert Paquette
 
Methodes de gestion de projets - introduction au processus unifié
Methodes de gestion de projets - introduction au processus unifiéMethodes de gestion de projets - introduction au processus unifié
Methodes de gestion de projets - introduction au processus unifié
Mireille Blay-Fornarino
 
Bonnes pratiques pour un projet de GED
Bonnes pratiques pour un projet de GEDBonnes pratiques pour un projet de GED
Bonnes pratiques pour un projet de GED
Nuxeo
 
RA et CCDS - Séance 1.pptx
RA et CCDS - Séance 1.pptxRA et CCDS - Séance 1.pptx
RA et CCDS - Séance 1.pptx
testuser715939
 

Similaire à Etudes empiriques sur l’evolution de la qualite logicielle (20)

Modélisation des pratiques métiers pour améliorer la conception de collecticiels
Modélisation des pratiques métiers pour améliorer la conception de collecticielsModélisation des pratiques métiers pour améliorer la conception de collecticiels
Modélisation des pratiques métiers pour améliorer la conception de collecticiels
 
UML Part1-Introduction Mansouri
UML Part1-Introduction MansouriUML Part1-Introduction Mansouri
UML Part1-Introduction Mansouri
 
Lecon 1.1
Lecon 1.1Lecon 1.1
Lecon 1.1
 
Un exemple de méthodologie de conception orientée utilisateur de produits in...
 Un exemple de méthodologie de conception orientée utilisateur de produits in... Un exemple de méthodologie de conception orientée utilisateur de produits in...
Un exemple de méthodologie de conception orientée utilisateur de produits in...
 
CM Processus Méthodes
CM Processus MéthodesCM Processus Méthodes
CM Processus Méthodes
 
Thesis+of+nesrine+abdelkafi.ppt
Thesis+of+nesrine+abdelkafi.pptThesis+of+nesrine+abdelkafi.ppt
Thesis+of+nesrine+abdelkafi.ppt
 
20171122 - Accueil Club Qualité Logicielle
20171122 - Accueil Club Qualité Logicielle 20171122 - Accueil Club Qualité Logicielle
20171122 - Accueil Club Qualité Logicielle
 
2009-01-29 Squale aux Jeudis de l'Objet
2009-01-29 Squale aux Jeudis de l'Objet2009-01-29 Squale aux Jeudis de l'Objet
2009-01-29 Squale aux Jeudis de l'Objet
 
Expression des besoins pour le SI
Expression des besoins pour le SIExpression des besoins pour le SI
Expression des besoins pour le SI
 
La documentation logicielle se transforme en gestion de stratégie de conten...
La documentation logicielle se transforme en gestion de stratégie de conten...La documentation logicielle se transforme en gestion de stratégie de conten...
La documentation logicielle se transforme en gestion de stratégie de conten...
 
2016-04-13 Anne Claire Jacob Poulin Gestion par projet dans un centre de R&D
2016-04-13 Anne Claire Jacob Poulin Gestion par projet dans un centre de R&D2016-04-13 Anne Claire Jacob Poulin Gestion par projet dans un centre de R&D
2016-04-13 Anne Claire Jacob Poulin Gestion par projet dans un centre de R&D
 
Sp1 les acteurs des normes danedjo
Sp1 les acteurs des normes danedjoSp1 les acteurs des normes danedjo
Sp1 les acteurs des normes danedjo
 
CV Jean-Yves ARNAUD
CV Jean-Yves ARNAUDCV Jean-Yves ARNAUD
CV Jean-Yves ARNAUD
 
Approche cadre-logique
Approche cadre-logiqueApproche cadre-logique
Approche cadre-logique
 
Les tests utilisateurs pour les petits budgets
Les tests utilisateurs pour les petits budgetsLes tests utilisateurs pour les petits budgets
Les tests utilisateurs pour les petits budgets
 
Assurance qualité
Assurance qualitéAssurance qualité
Assurance qualité
 
Priows présentation des résultats
Priows présentation des résultats Priows présentation des résultats
Priows présentation des résultats
 
Methodes de gestion de projets - introduction au processus unifié
Methodes de gestion de projets - introduction au processus unifiéMethodes de gestion de projets - introduction au processus unifié
Methodes de gestion de projets - introduction au processus unifié
 
Bonnes pratiques pour un projet de GED
Bonnes pratiques pour un projet de GEDBonnes pratiques pour un projet de GED
Bonnes pratiques pour un projet de GED
 
RA et CCDS - Séance 1.pptx
RA et CCDS - Séance 1.pptxRA et CCDS - Séance 1.pptx
RA et CCDS - Séance 1.pptx
 

Plus de Tom Mens

How to be(come) a successful PhD student
How to be(come) a successful PhD studentHow to be(come) a successful PhD student
How to be(come) a successful PhD student
Tom Mens
 
Recognising bot activity in collaborative software development
Recognising bot activity in collaborative software developmentRecognising bot activity in collaborative software development
Recognising bot activity in collaborative software development
Tom Mens
 
A Dataset of Bot and Human Activities in GitHub
A Dataset of Bot and Human Activities in GitHubA Dataset of Bot and Human Activities in GitHub
A Dataset of Bot and Human Activities in GitHub
Tom Mens
 
The (r)evolution of CI/CD on GitHub
 The (r)evolution of CI/CD on GitHub The (r)evolution of CI/CD on GitHub
The (r)evolution of CI/CD on GitHub
Tom Mens
 
Nurturing the Software Ecosystems of the Future
Nurturing the Software Ecosystems of the FutureNurturing the Software Ecosystems of the Future
Nurturing the Software Ecosystems of the Future
Tom Mens
 
Comment programmer un robot en 30 minutes?
Comment programmer un robot en 30 minutes?Comment programmer un robot en 30 minutes?
Comment programmer un robot en 30 minutes?
Tom Mens
 
On the rise and fall of CI services in GitHub
On the rise and fall of CI services in GitHubOn the rise and fall of CI services in GitHub
On the rise and fall of CI services in GitHub
Tom Mens
 
On backporting practices in package dependency networks
On backporting practices in package dependency networksOn backporting practices in package dependency networks
On backporting practices in package dependency networks
Tom Mens
 
Comparing semantic versioning practices in Cargo, npm, Packagist and Rubygems
Comparing semantic versioning practices in Cargo, npm, Packagist and RubygemsComparing semantic versioning practices in Cargo, npm, Packagist and Rubygems
Comparing semantic versioning practices in Cargo, npm, Packagist and Rubygems
Tom Mens
 
Lost in Zero Space
Lost in Zero SpaceLost in Zero Space
Lost in Zero Space
Tom Mens
 
Evaluating a bot detection model on git commit messages
Evaluating a bot detection model on git commit messagesEvaluating a bot detection model on git commit messages
Evaluating a bot detection model on git commit messages
Tom Mens
 
Is my software ecosystem healthy? It depends!
Is my software ecosystem healthy? It depends!Is my software ecosystem healthy? It depends!
Is my software ecosystem healthy? It depends!
Tom Mens
 
Bot or not? Detecting bots in GitHub pull request activity based on comment s...
Bot or not? Detecting bots in GitHub pull request activity based on comment s...Bot or not? Detecting bots in GitHub pull request activity based on comment s...
Bot or not? Detecting bots in GitHub pull request activity based on comment s...
Tom Mens
 
On the fragility of open source software packaging ecosystems
On the fragility of open source software packaging ecosystemsOn the fragility of open source software packaging ecosystems
On the fragility of open source software packaging ecosystems
Tom Mens
 
How magic is zero? An Empirical Analysis of Initial Development Releases in S...
How magic is zero? An Empirical Analysis of Initial Development Releases in S...How magic is zero? An Empirical Analysis of Initial Development Releases in S...
How magic is zero? An Empirical Analysis of Initial Development Releases in S...
Tom Mens
 
Comparing dependency issues across software package distributions (FOSDEM 2020)
Comparing dependency issues across software package distributions (FOSDEM 2020)Comparing dependency issues across software package distributions (FOSDEM 2020)
Comparing dependency issues across software package distributions (FOSDEM 2020)
Tom Mens
 
Measuring Technical Lag in Software Deployments (CHAOSScon 2020)
Measuring Technical Lag in Software Deployments (CHAOSScon 2020)Measuring Technical Lag in Software Deployments (CHAOSScon 2020)
Measuring Technical Lag in Software Deployments (CHAOSScon 2020)
Tom Mens
 
SecoHealth 2019 Research Achievements
SecoHealth 2019 Research AchievementsSecoHealth 2019 Research Achievements
SecoHealth 2019 Research Achievements
Tom Mens
 
SECO-Assist 2019 research seminar
SECO-Assist 2019 research seminarSECO-Assist 2019 research seminar
SECO-Assist 2019 research seminar
Tom Mens
 
Empirically Analysing the Socio-Technical Health of Software Package Managers
Empirically Analysing the Socio-Technical Health of Software Package ManagersEmpirically Analysing the Socio-Technical Health of Software Package Managers
Empirically Analysing the Socio-Technical Health of Software Package Managers
Tom Mens
 

Plus de Tom Mens (20)

How to be(come) a successful PhD student
How to be(come) a successful PhD studentHow to be(come) a successful PhD student
How to be(come) a successful PhD student
 
Recognising bot activity in collaborative software development
Recognising bot activity in collaborative software developmentRecognising bot activity in collaborative software development
Recognising bot activity in collaborative software development
 
A Dataset of Bot and Human Activities in GitHub
A Dataset of Bot and Human Activities in GitHubA Dataset of Bot and Human Activities in GitHub
A Dataset of Bot and Human Activities in GitHub
 
The (r)evolution of CI/CD on GitHub
 The (r)evolution of CI/CD on GitHub The (r)evolution of CI/CD on GitHub
The (r)evolution of CI/CD on GitHub
 
Nurturing the Software Ecosystems of the Future
Nurturing the Software Ecosystems of the FutureNurturing the Software Ecosystems of the Future
Nurturing the Software Ecosystems of the Future
 
Comment programmer un robot en 30 minutes?
Comment programmer un robot en 30 minutes?Comment programmer un robot en 30 minutes?
Comment programmer un robot en 30 minutes?
 
On the rise and fall of CI services in GitHub
On the rise and fall of CI services in GitHubOn the rise and fall of CI services in GitHub
On the rise and fall of CI services in GitHub
 
On backporting practices in package dependency networks
On backporting practices in package dependency networksOn backporting practices in package dependency networks
On backporting practices in package dependency networks
 
Comparing semantic versioning practices in Cargo, npm, Packagist and Rubygems
Comparing semantic versioning practices in Cargo, npm, Packagist and RubygemsComparing semantic versioning practices in Cargo, npm, Packagist and Rubygems
Comparing semantic versioning practices in Cargo, npm, Packagist and Rubygems
 
Lost in Zero Space
Lost in Zero SpaceLost in Zero Space
Lost in Zero Space
 
Evaluating a bot detection model on git commit messages
Evaluating a bot detection model on git commit messagesEvaluating a bot detection model on git commit messages
Evaluating a bot detection model on git commit messages
 
Is my software ecosystem healthy? It depends!
Is my software ecosystem healthy? It depends!Is my software ecosystem healthy? It depends!
Is my software ecosystem healthy? It depends!
 
Bot or not? Detecting bots in GitHub pull request activity based on comment s...
Bot or not? Detecting bots in GitHub pull request activity based on comment s...Bot or not? Detecting bots in GitHub pull request activity based on comment s...
Bot or not? Detecting bots in GitHub pull request activity based on comment s...
 
On the fragility of open source software packaging ecosystems
On the fragility of open source software packaging ecosystemsOn the fragility of open source software packaging ecosystems
On the fragility of open source software packaging ecosystems
 
How magic is zero? An Empirical Analysis of Initial Development Releases in S...
How magic is zero? An Empirical Analysis of Initial Development Releases in S...How magic is zero? An Empirical Analysis of Initial Development Releases in S...
How magic is zero? An Empirical Analysis of Initial Development Releases in S...
 
Comparing dependency issues across software package distributions (FOSDEM 2020)
Comparing dependency issues across software package distributions (FOSDEM 2020)Comparing dependency issues across software package distributions (FOSDEM 2020)
Comparing dependency issues across software package distributions (FOSDEM 2020)
 
Measuring Technical Lag in Software Deployments (CHAOSScon 2020)
Measuring Technical Lag in Software Deployments (CHAOSScon 2020)Measuring Technical Lag in Software Deployments (CHAOSScon 2020)
Measuring Technical Lag in Software Deployments (CHAOSScon 2020)
 
SecoHealth 2019 Research Achievements
SecoHealth 2019 Research AchievementsSecoHealth 2019 Research Achievements
SecoHealth 2019 Research Achievements
 
SECO-Assist 2019 research seminar
SECO-Assist 2019 research seminarSECO-Assist 2019 research seminar
SECO-Assist 2019 research seminar
 
Empirically Analysing the Socio-Technical Health of Software Package Managers
Empirically Analysing the Socio-Technical Health of Software Package ManagersEmpirically Analysing the Socio-Technical Health of Software Package Managers
Empirically Analysing the Socio-Technical Health of Software Package Managers
 

Dernier

Textes de famille concernant les guerres V2.pdf
Textes de famille concernant les guerres V2.pdfTextes de famille concernant les guerres V2.pdf
Textes de famille concernant les guerres V2.pdf
Michel Bruley
 
Proyecto Erasmus Jardineros y jardineras de paz
Proyecto Erasmus Jardineros y jardineras de pazProyecto Erasmus Jardineros y jardineras de paz
Proyecto Erasmus Jardineros y jardineras de paz
Morzadec Cécile
 
Veille Audocdi 90 - mois de juin 2024.pdf
Veille Audocdi 90 - mois de juin 2024.pdfVeille Audocdi 90 - mois de juin 2024.pdf
Veille Audocdi 90 - mois de juin 2024.pdf
frizzole
 
BATIMENT 5.pptx. Fil français tourné en France
BATIMENT 5.pptx. Fil français tourné en FranceBATIMENT 5.pptx. Fil français tourné en France
BATIMENT 5.pptx. Fil français tourné en France
Txaruka
 
Bibliothèque de L'Union - Bilan de l'année 2023
Bibliothèque de L'Union - Bilan de l'année 2023Bibliothèque de L'Union - Bilan de l'année 2023
Bibliothèque de L'Union - Bilan de l'année 2023
Bibliothèque de L'Union
 
cours-LasergrammetrieLe « LiDAR», de l’anglais « Light.pptx
cours-LasergrammetrieLe « LiDAR», de l’anglais « Light.pptxcours-LasergrammetrieLe « LiDAR», de l’anglais « Light.pptx
cours-LasergrammetrieLe « LiDAR», de l’anglais « Light.pptx
AbdessamadAmimi1
 
Iris van Herpen. pptx
Iris         van        Herpen.      pptxIris         van        Herpen.      pptx
Iris van Herpen. pptx
Txaruka
 

Dernier (7)

Textes de famille concernant les guerres V2.pdf
Textes de famille concernant les guerres V2.pdfTextes de famille concernant les guerres V2.pdf
Textes de famille concernant les guerres V2.pdf
 
Proyecto Erasmus Jardineros y jardineras de paz
Proyecto Erasmus Jardineros y jardineras de pazProyecto Erasmus Jardineros y jardineras de paz
Proyecto Erasmus Jardineros y jardineras de paz
 
Veille Audocdi 90 - mois de juin 2024.pdf
Veille Audocdi 90 - mois de juin 2024.pdfVeille Audocdi 90 - mois de juin 2024.pdf
Veille Audocdi 90 - mois de juin 2024.pdf
 
BATIMENT 5.pptx. Fil français tourné en France
BATIMENT 5.pptx. Fil français tourné en FranceBATIMENT 5.pptx. Fil français tourné en France
BATIMENT 5.pptx. Fil français tourné en France
 
Bibliothèque de L'Union - Bilan de l'année 2023
Bibliothèque de L'Union - Bilan de l'année 2023Bibliothèque de L'Union - Bilan de l'année 2023
Bibliothèque de L'Union - Bilan de l'année 2023
 
cours-LasergrammetrieLe « LiDAR», de l’anglais « Light.pptx
cours-LasergrammetrieLe « LiDAR», de l’anglais « Light.pptxcours-LasergrammetrieLe « LiDAR», de l’anglais « Light.pptx
cours-LasergrammetrieLe « LiDAR», de l’anglais « Light.pptx
 
Iris van Herpen. pptx
Iris         van        Herpen.      pptxIris         van        Herpen.      pptx
Iris van Herpen. pptx
 

Etudes empiriques sur l’evolution de la qualite logicielle

  • 1. Études empiriques sur l’évolution de la qualité logicielle Tom Mens, Leandro Doctors {tom.mens | leandro.doctors}@umons.ac.be Naji Habra, Benoît Vanderose, Flora Kamseu {naji.habra | benoit.vanderose | flora.kamseu}@fundp.ac.be 3èmes Journées du GDR Génie de la Programmation et du Logiciel (GPL) 8–10 juin, 2011, Lille, France
  • 2. Plan •  Contexte •  Méthodologie et framework de qualité •  Questions de recherche •  Résultats préliminaires Journées du GDR GPL, 8-10 juin, 2011, Lille, France 2 / 29
  • 3. Contexte •  Projet FEDER – portefeuille TIC •  CE-IQS: Centre d’Expertise en Ingénierie et Qualité des Systèmes –  Thématique: “Méthodologies pour dévéloper et évoluer les systèmes logiciels” •  Workpackage QUALGEN –  Modéliser et évoluer la qualité de différents points de vue –  Utiliser un métamodèle et framework de qualité pour étudier et controler la qualité des projets logiciels tout au long de leur évolution Journées du GDR GPL, 8-10 juin, 2011, Lille, France 3 / 29
  • 4. Contexte •  L’évolution logicielle peut affecter plusieurs aspects de la qualité d’un système logiciel –  complétude, cohérence, fiabilité, maintenabilité, etc. •  Des études empiriques permettent d’étudier cette relation •  Le but à moyen terme étant d’améliorer les méthodes et outils de contrôle et d’amélioration de qualité Journées du GDR GPL, 8-10 juin, 2011, Lille, France 4 / 29
  • 5. Contexte •  Difficultés rencontrées lors des études empiriques –  Difficultés de trouver des sujets pour les expériences –  Difficulté d’accès à des données industrielles –  Divergences et incohérences dans les méthodes et les outils de mesure –  Manque de connaissance sur la relation entre les divers aspects de la qualité logicielle au sein d’un même projet •  Solutions possibles –  Se focaliser sur des données « open source » –  Faire des études sur des groupes d’étudiants au sein de différentes universités –  Utiliser la methodologie MoCQA Journées du GDR GPL, 8-10 juin, 2011, Lille, France 5 / 29
  • 6. Contexte Projet •  Passer d’une perspective Analyse « code » à une perspective de besoins projet Plan de test •  Étudier, au sein d’un projet, Design (acceptation) les relations entre plusieurs aspects de qualité et plusieurs artéfacts Plan de test Code (unitaires) •  Intégrer: –  différents artéfacts –  différent points de vues Exécutable Documentation –  différentes notions de qualité –  l’aspect évolutif Journées du GDR GPL, 8-10 juin, 2011, Lille, France 6 / 29
  • 7. Contexte •  Passer d’une perspective Ecosystème projet à une perspective écosystème Projet-1 Projet-2 … Projet-n •  Étudier, au sein d’un écosystème, la qualité de plusieurs projets, la relation entre eux et la communauté Journées du GDR GPL, 8-10 juin, 2011, Lille, France 7 / 29
  • 8. Méthodologie Framework MoCQA (Model-Centric Quality Assessment) •  Framework d’assistance à l’évaluation de la qualité au niveau du projet –  Structure la définition des mesures et des artéfacts mesurés –  Intègre et structure les relations entre les artefacts/mesures/indicateurs de qualité •  Repose sur l’utilisation de modèles MoCQA = modèles de qualité opérationnel et taillé sur mesure   structure l’information nécessaire pour le processus d’évaluation de qualité •  Que mesurer? Comment le mesurer? Dans quel but? Pour qui? Journées du GDR GPL, 8-10 juin, 2011, Lille, France 8 / 29
  • 9. Méthodologie •  Méthodologie d’évaluation de la qualité basée sur un modèle  permet de d’expliciter les hypothèse pour les expérimentations •  Plusieurs niveaux de révision du modèle du processus d’évaluation   permet de réviser les hypothèses des expérimentations Journées du GDR GPL, 8-10 juin, 2011, Lille, France 9 / 29
  • 10. Méthodologie Journées du GDR GPL, 8-10 juin, 2011, Lille, France 10 / 29
  • 11. Méthodologie Quality-related Definition or reuse of a hierarchy of quality issues Journées du GDR GPL, 8-10 juin, 2011, Lille, France 11 / 29
  • 12. Méthodologie Measurement-related Definition or reuse of measurement method Associated to the quality factors Journées du GDR GPL, 8-10 juin, 2011, Lille, France 12 / 29
  • 13. Méthodologie Project-related Project vs product Software ≠ black-box Scope = project Journées du GDR GPL, 8-10 juin, 2011, Lille, France 13 / 29
  • 14. Exemple d’un modèle MoCQA Exemple d’un modèle de qualité (instantiation du métamodèle MoCQA) Journées du GDR GPL, 8-10 juin, 2011, Lille, France 14 / 29
  • 15. Questions de recherche •  Quelle est la relation entre l’évaluation objective et subjective d’un attribut de qualité d’un artéfact? But: approximation par une méthode Artéfact A (p.e., plan de test) automatisée Attribut X (p.e., complétude) •  Avantages Méthode: objective (mesure) –  Gain de temps (automatisation) (p.e., test coverage tool) –  Plus aisément répétable au cours du cycle d’évolution –  Evite l’évaluation « à la tete du estimation client » Artéfact A (p.e., plan de test) •  Risque Attribut X (p.e., complétude) –  Les éléments non pris en compte Méthode: subjective (évaluation) par la méthode objective sont-ils pertinents? Journées du GDR GPL, 8-10 juin, 2011, Lille, France 15 / 29
  • 16. Questions de recherche •  Quelle est la relation entre différents attributs de qualité pour un même artefact? But: construction de modèles Artéfact A (p.e. code source) prédictifs au cours du cycle Attribut X (p.e., lisibilité) •  Avantages –  Anticiper l’impact de la maintenance sur un artefact (p.ex. optimisation peut rendre le code moins lisible) Artéfact A (p.e. code source) Attribut Y (p.e., efficacité / optimisation) Journées du GDR GPL, 8-10 juin, 2011, Lille, France 16 / 29
  • 17. Questions de recherche •  Quelle est la relation entre différents attributs de qualité pour un même artefact? But: construction de modèles Artéfact A (p.e. design model) prédictifs au cours du cycle Attribut X (p.e., complétude) •  Avantages –  Anticiper l’impact de la maintenance sur un artéfact Artéfact A (p.e. design model) Attribut Y (p.e., taille) Journées du GDR GPL, 8-10 juin, 2011, Lille, France 17 / 29
  • 18. Questions de recherche •  Quelle est la relation entre le même attribut de qualité pour différents artefacts? But: construction de modèles Artéfact A (p.e. design model) prédictifs au cours du cycle Attribut X (p.e. complétude) •  Avantages –  Détection des problèmes de qualité tôt dans le processus –  Tracabilité des défauts au Artéfact B travers d’artéfacts à différents (p.e. code source) niveaux d’abstraction Attribut X (p.e. complétude) •  Risque –  Dans quelle mesure le facteur humain influe sur la prédiction de cette relation? Journées du GDR GPL, 8-10 juin, 2011, Lille, France 18 / 29
  • 19. Etude empirique •  Comment mettre en place des expérimentations permettant d’étudier ces relations ?  Formaliser des hypothèses sur les relations entre attributs de qualité   Garder trace de plusieurs méthodes de mesure d’une manière structurée   Trouver du support statistique pour confirmer les hypothèses •  Comment garantir la réplication des expérimentations?   Fournir un « replication package » permettant de repeter l’étude   Fournir une structure permettant de rapidement identifier les manques et variations (artéfacts / méthodes de mesure) d’un contexte à l’autre Journées du GDR GPL, 8-10 juin, 2011, Lille, France 19 / 29
  • 20. Etude empirique •  Projet de génie logiciel à l’UMONS –  8 groupes de 2 étudiants –  Travail obligatoire pour le cours « génie logiciel » –  Plusieurs artéfacts produits: modèles UML, code Java, tests JUnit, rapports pdf, Javadoc •  Évaluation subjective –  Par 4 enseignants sur tous les artéfacts pour différents attributs de qualité •  Évaluation objective –  En utilisant des outils automatisés Journées du GDR GPL, 8-10 juin, 2011, Lille, France 20 / 29
  • 21. Etude empirique •  Évaluation subjective –  Basé sur des questions précises pour chaque artéfact évalué –  En utilisant une échelle Lickert •  excellent, très bien, bien, suffisant, insuffisant, mauvais, très mauvais, inacceptable –  Evaluation des modèles UML (cohérence, complétude), code source (style OO, complétude), tests (correctness, complexité, complétude), exécution (convivialité, complétude) •  Évaluation objective –  En utilisant Junit (test correctness), EclEmma (code et test coverage), PMD (code quality), … Journées du GDR GPL, 8-10 juin, 2011, Lille, France 21 / 29
  • 22. Résultats Préliminaires Même artéfact, même attribut Artefact = unit tests Unit Tests Objectives vs. subjectives Attribut: complétude Méthode: objective (mesure) •  2 méthodes objectives (p.e., test coverage tool, test runs) % Test Coverage # Tests estimation Unit Tests •  évaluation subjectif   Mettre en évidence une Attribut: complétude relation d’approximation Méthode: subjective (évaluation) Journées du GDR GPL, 8-10 juin, 2011, Lille, France 22 / 29
  • 23. Résultats Préliminaires Même artéfact, même attribut % classes couvertes par les tests vs. évaluation subjective •  p-value = 0.118 •  corrélation = 0.558   Corrélation pas statistiquement significative   Granularité de la méthode de mesure insuffisante Journées du GDR GPL, 8-10 juin, 2011, Lille, France 23 / 29
  • 24. Résultats Préliminaires Même artéfact, même attribut % méthodes couvertes par les tests vs. évaluation subjective •  p-value = 0.024 •  corrélation = 0.735   Forte corrélation, statistiquement significative   Granularité de la méthode de mesure suffisante pour une approximation Journées du GDR GPL, 8-10 juin, 2011, Lille, France 24 / 29
  • 25. Résultats Préliminaires Même artéfact, même attribut % LoC couvertes par les tests vs. évaluation subjective •  p-value = 0.014 •  corrélation = 0.774   Forte corrélation, statistiquement significative   Granularité de la méthode de mesure suffisante pour une approximation Journées du GDR GPL, 8-10 juin, 2011, Lille, France 25 / 29
  • 26. Résultats Préliminaires Même artéfact, même attribut #tests vs. évaluation subjective •  p-value = 0.0177 •  corrélation = 0.759   Forte corrélation, statistiquement significative   Couverture des méthodes et #tests donnent des résultats similaires Journées du GDR GPL, 8-10 juin, 2011, Lille, France 26 / 29
  • 27. Résultats Préliminaires Conclusions préliminaires: Artefact = unit tests Méthode = objective vs. subjective •  Mise en évidence d’une relation d’approximation possible dans une majorité de cas •  Minorité de cas où l’évaluation objective est plus sévère  Étudier les facteurs qui rendent l’évaluation subjective plus efficace dans ses cas Journées du GDR GPL, 8-10 juin, 2011, Lille, France 27 / 29
  • 28. Résultats Préliminaires différents artéfacts, différents attributs Peut-on aller plus loin? Évaluation subjective globale du produit final (l’exécutable) vs. Évaluation objective (couverture de test) •  p-value = 0.585 •  corrélation = 0.211   Essai infructueux   L’évaluation inclut-elle des éléments parasites qui empêchent la corrélation? Journées du GDR GPL, 8-10 juin, 2011, Lille, France 28 / 29
  • 29. Résultats Préliminaires différents artéfacts, différents attributs Deuxième version Évaluation subjective de la stabilité de l’exécutable vs. Évaluation objective (couverture de test) •  p-value = 0.647 •  corrélation = 0.178   Essai infructueux   Corrélation encore plus réduite Journées du GDR GPL, 8-10 juin, 2011, Lille, France 29 / 29
  • 30. Résultats Préliminaires Conclusions préliminaires: Modèles prédictifs (qualité de test vs. stabilité de l’exécutable) •  La qualité de test n’est pas corrélée à la qualité de l’exécutable. •  L’évaluation objective n’est pas adaptée pour prédire la stabilité de l’exécutable. Journées du GDR GPL, 8-10 juin, 2011, Lille, France 30 / 29
  • 31. Travaux Futurs •  Répéter l’expérience dans d’autres universités •  Raffiner les questions de recherche •  Trouver davantage de support statistiquement significatif Journées du GDR GPL, 8-10 juin, 2011, Lille, France 31 / 29