Traitement des données manquantes et aberrantes sous R

1. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Exploration et traitement de données Traitement des valeurs manquantes et aberrantes sous R Mohamed Ali KHOUAJA IFELab www.emi.ac.ma/ifelab LERMA, EMI Université Mohamed V Rabat - Maroc Séminaire, 5/5/2016 Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

2. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Plan 1 Exploration de données Traitements préliminaires Pourquoi le traitement des données manquantes 2 Types de données manquantes Données MCAR Données MAR Données MNAR 3 Méthodes de traitement de données manquantes Exclure les Données Manquantes DM L’imputation simple L’imputation multiple 4 Valeurs aberrantes : Outliers Définition Traitement Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

3. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Traitements préliminaires Pourquoi le traitement des données manquantes Outline 1 Exploration de données Traitements préliminaires Pourquoi le traitement des données manquantes 2 Types de données manquantes Données MCAR Données MAR Données MNAR 3 Méthodes de traitement de données manquantes Exclure les Données Manquantes DM L’imputation simple L’imputation multiple 4 Valeurs aberrantes : Outliers Définition Traitement Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

4. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Traitements préliminaires Pourquoi le traitement des données manquantes Data mining process Figure – Data mining process, Datacamp.com Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

5. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Traitements préliminaires Pourquoi le traitement des données manquantes Data cleaning in statistical analysis Figure – Statistical analysis value chain, voir [1] Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

6. Etapes d’élaboration d’un modèle prédictif Figure – Etapes d’élaboration d’un modèle prédictif

7. Etapes d’élaboration d’un modèle prédictif Figure – Etapes d’élaboration d’un modèle prédictif

8. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Traitements préliminaires Pourquoi le traitement des données manquantes Outline 1 Exploration de données Traitements préliminaires Pourquoi le traitement des données manquantes 2 Types de données manquantes Données MCAR Données MAR Données MNAR 3 Méthodes de traitement de données manquantes Exclure les Données Manquantes DM L’imputation simple L’imputation multiple 4 Valeurs aberrantes : Outliers Définition Traitement Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

9. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Traitements préliminaires Pourquoi le traitement des données manquantes Motivation Les données manquantes constituent un problème majeur, puisque l’information à disposition est incomplète et donc moins fiable. Parmi les causes : Il peut être impossible de contacter une personne sélectionnée pour faire partie d’une enquête (non réponse totale) Ou un répondant peut refuser de répondre à une ou plusieurs questions (non-réponse partielle). Une mauvaise saisie de l’information peut également générer des DM. Données aberrantes Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

15. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Traitements préliminaires Pourquoi le traitement des données manquantes Problématique Générale des Données NA L’ensemble des données avec lequel on doit travailler n’est pas toujours complet (NA) Données manquantes : Variable à expliquer Variable(s) explicative(s) Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

16. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Traitements préliminaires Pourquoi le traitement des données manquantes Problématique Générale des Données NA L’ensemble des données avec lequel on doit travailler n’est pas toujours complet (NA) Données manquantes : Variable à expliquer Variable(s) explicative(s) Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

17. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Traitements préliminaires Pourquoi le traitement des données manquantes Problématique Générale des Données NA Impact Perte d’information non pertinente et/ou non informative (Impact Nul) Perte d’information pertinente et/ou informative (Impact fonction du taux de NA + Biais possible dans l’estimation de la précision et de l’exactitude) Solution Ne rien faire (Lorsque la proportion de NA de l’échantillon est faible <5%) Utiliser une procédure adaptée de remplacement des NA Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

22. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Données MCAR Données MAR Données MNAR Choix de types de données manquantes Sommaire 1 Exploration de données Traitements préliminaires Pourquoi le traitement des données manquantes 2 Types de données manquantes Données MCAR Données MAR Données MNAR 3 Méthodes de traitement de données manquantes Exclure les Données Manquantes DM L’imputation simple L’imputation multiple 4 Valeurs aberrantes : Outliers Définition Traitement Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

23. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Données MCAR Données MAR Données MNAR Choix de types de données manquantes Types de données manquantes Typologie de données manquantes, selon Little Rubin (1987), 3 catégories : MCAR (”Missing completely at random”) MAR (”Missing at random”) MNAR (”Missing not at random”) Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

24. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Données MCAR Données MAR Données MNAR Choix de types de données manquantes Outline 1 Exploration de données Traitements préliminaires Pourquoi le traitement des données manquantes 2 Types de données manquantes Données MCAR Données MAR Données MNAR 3 Méthodes de traitement de données manquantes Exclure les Données Manquantes DM L’imputation simple L’imputation multiple 4 Valeurs aberrantes : Outliers Définition Traitement Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

25. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Données MCAR Données MAR Données MNAR Choix de types de données manquantes Données MCAR Missing Completely At Random La probabilité qu’une valeur de la variable X1 soit manquante ne dépend pas des valeurs prises par les autres variables Xj=1, qu’elles soient manquantes ou pas. Il n’est donc pas possible de définir un profil des individus ayant des valeurs manquantes, la probabilité de ces données est uniforme. P(xi1manquant|xijobserve, xijmanquant) = P(xi1manquant) De manière générale, ce type de DM est très rare. Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

30. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Données MCAR Données MAR Données MNAR Choix de types de données manquantes Données MAR Missing At Random La probabilité qu’une valeur de la variable X1 soit manquante ne dépend pas des valeurs prises par les autres variables Xj=1 manquantes, mais de leurs valeurs observées. Exemple : Il existe une différence de non-réponse entre les hommes et les femmes concernant la question du revenu, mais parmi les hommes entre eux ou parmi les femmes entre elles, la probabilité d’avoir des non-réponses est identique quel que soit le niveau du revenu P(xi1manquant|xijobserve, xijmanquant) = P(xi1manquant|xijobserve) Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

34. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Données MCAR Données MAR Données MNAR Choix de types de données manquantes Données MNAR Missing Not At Random La donnée est manquante pour une raison précise voulue. La probabilité qu’une valeur de la variable x soit manquante ne dépend pas des valeurs prises par les autres variables Xj=i observées, mais de leurs valeurs manquantes P(xi1manquant|xijobserve, xijmanquant) = P(xi1manquant|xmanquant) Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

37. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Données MCAR Données MAR Données MNAR Choix de types de données manquantes Typologie de données manquantes Choix de types de données Malheureusement On ne peut généralement pas dire, à partir des données, quel est le méchanisme de manque (MCAR, MAR, MNAR) Dans le cas MNAR, il est rare que l’on connaisse le modèle associé au manquement Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

38. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Données MCAR Données MAR Données MNAR Choix de types de données manquantes Typologie de données manquantes Choix de types de données Malheureusement On ne peut généralement pas dire, à partir des données, quel est le méchanisme de manque (MCAR, MAR, MNAR) Dans le cas MNAR, il est rare que l’on connaisse le modèle associé au manquement Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

39. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Exclure les Données Manquantes DM L’imputation simple L’imputation multiple Sommaire 1 Exploration de données Traitements préliminaires Pourquoi le traitement des données manquantes 2 Types de données manquantes Données MCAR Données MAR Données MNAR 3 Méthodes de traitement de données manquantes Exclure les Données Manquantes DM L’imputation simple L’imputation multiple 4 Valeurs aberrantes : Outliers Définition Traitement Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

40. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Exclure les Données Manquantes DM L’imputation simple L’imputation multiple Outline 1 Exploration de données Traitements préliminaires Pourquoi le traitement des données manquantes 2 Types de données manquantes Données MCAR Données MAR Données MNAR 3 Méthodes de traitement de données manquantes Exclure les Données Manquantes DM L’imputation simple L’imputation multiple 4 Valeurs aberrantes : Outliers Définition Traitement Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

41. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Exclure les Données Manquantes DM L’imputation simple L’imputation multiple Exclure les DM List Wise Deletion Toutes les observations ayant au moins une donnée manquante, cela permet d’effectuer des analyses sur des cas dont toutes les données sont connues. En plus elle est peu efficiente, car beaucoup d’observations peuvent disparaitre, Pair Wise Deletion On performe notre analyse avec toutes les cases dont les variables en question sont présentes. Son désaventage est d’utiliser différentes tailles d’échantillons pour les différentes variables. Valide seulement en cas de MCAR Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

45. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Exclure les Données Manquantes DM L’imputation simple L’imputation multiple L’imputation simple Principe : remplacer chaque donnée manquante par une valeur plausible. Cela peut être : la moyenne ou médiane pour les attributs quantis ou le mode pour les attributs qualis. Cette méthode peut comprendre deux types : Generalized Imputation On calcule la moyenne/médiane de toute les valeurs non manquantes que prend la variable, puis on remplace les DM par la valeur de la moyenne/médiane ou le mode pour les attributs qualis. Similar case Imputation qui remplace les données manquantes par des valeurs provenant d’individus similaires pour lesquels toute l’information a été observée, (voir l’exemple en slide suivante) Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

46. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Exclure les Données Manquantes DM L’imputation simple L’imputation multiple L’imputation simple Principe : remplacer chaque donnée manquante par une valeur plausible. Cela peut être : la moyenne ou médiane pour les attributs quantis ou le mode pour les attributs qualis. Cette méthode peut comprendre deux types : Generalized Imputation On calcule la moyenne/médiane de toute les valeurs non manquantes que prend la variable, puis on remplace les DM par la valeur de la moyenne/médiane ou le mode pour les attributs qualis. Similar case Imputation qui remplace les données manquantes par des valeurs provenant d’individus similaires pour lesquels toute l’information a été observée, (voir l’exemple en slide suivante) Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

47. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Exclure les Données Manquantes DM L’imputation simple L’imputation multiple L’imputation simple Exemple de Similar case Imputation Gender Manpower Sales 1 M 25.00 343.00 2 F 280.00 3 M 33.00 332.00 4 M 272.00 5 F 25.00 6 M 29.00 326.00 7 26.00 259.00 8 M 32.00 297.00 Table – Jeu de données avec DM Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

48. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Exclure les Données Manquantes DM L’imputation simple L’imputation multiple L’imputation simple Exemple de Similar case Imputation Gender Manpower Sales 1 M 25.00 343.00 2 F NA 280.00 3 M 33.00 332.00 4 M NA 272.00 5 F 25.00 NA 6 M 29.00 326.00 7 NA 26.00 259.00 8 M 32.00 297.00 Table – Jeu de données avec DM Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

49. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Exclure les Données Manquantes DM L’imputation simple L’imputation multiple L’imputation simple Exemple de Similar case Imputation On calcule la moyenne (en variable Manpower) pour le genre (Man) : > mean(ListDM[Gender==c("M"),]$Manpower, na.rm = TRUE) [1] 29.75 et (Female), pour les valeurs non manquantes : > mean(ListDM[Gender==c("F"),]$Manpower, na.rm = TRUE) [1] 25 Ensuite on remplace les DM, pour ”M”par 29.75 et pour ”F”par 25. Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

50. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Exclure les Données Manquantes DM L’imputation simple L’imputation multiple L’imputation simple Ratio Imputation Ici, la valeur est estimée ˆxi par un ratio multiplié par la valeur conjuguée de covariant yi . ˆxi = ˆRyi Implémentation sur R : > x=ListDM[,2] > y=ListDM[,3] > I= is.na(x) > R=sum(x[!I])/sum(y[!I & !is.na(y)]) > x[I]=R*y[I] Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

51. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Exclure les Données Manquantes DM L’imputation simple L’imputation multiple Modèle de prédiction Ici, On construit un modèle de prédiction pour estimer les valeurs avec lesquelles on substitue les DM. ˆxi = ˆβ0 + ˆβ1y1,i + ... + ˆβkyk,i On peut utiliser : Regréssion, ANOVA, Régression logistique A noter que les packages Hmisc, VIM, mi et mice, implémentent des méthodes d’imputation utilisant de formes de régression Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

52. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Exclure les Données Manquantes DM L’imputation simple L’imputation multiple Imputation KNN Dans cette méthode : Les DM d’un attribut sont imputés en utilisant les attributs les plus similaires à celui en question. La similatité entre deux attributs est déterminée en utilisant une fonction de distance. Le package VIM de R, utilise une fonction appelée kNN qui implémente une distance de Gowers pour déterminer les K proches voisins Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

53. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Exclure les Données Manquantes DM L’imputation simple L’imputation multiple Imputation KNN Exemple sous R > library(VIM) > data(iris) > n <- nrow(iris) > # provide some empty values (10 in each column, randomly) > for (i in 1:ncol(iris)) { + iris[sample(1:n, 10, replace = FALSE), i] <- NA + } > iris2 <- kNN(iris) Time difference of 0.058038 secs Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

54. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Exclure les Données Manquantes DM L’imputation simple L’imputation multiple Autres méthodes d’imputation Hot deck imputation Imputer la valeur manquante avec une valeur observée de la même BDD aléatoirement (sous R, la fonction impute du package Hmisc implémente cette méthode en ajoutant le paramètre ”random”) Exemple : Soit ”height”les tailles extraites du jeu de données ”women”: > height <- women$height > height[c(6,9)]<-NA #Ajouter des DM > height<-Hmisc::impute(height, "random") > height 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 58 59 60 61 62 65* 64 65 61* 67 68 69 70 71 72 Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

56. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Exclure les Données Manquantes DM L’imputation simple L’imputation multiple L’imputation multiple Principe : procéder à m > 1 imputations afin d’obtenir m valeurs pour chaque donnée manquante, et à combiner ensuite les statistiques calculées indépendamment sur les m jeux de données. les résultats peuvent varier selon les logiciels et les modèles Souvent, on opte pour l’imputation multiple et cela revient à plusieurs raisons : Sous l’hypothèse MAR, MI produit des estimations non biaisées ainsi que des variances non biaisées Méthode très flexible Large disponibilité des techniques de MI dans les logiciels de statistique Les packages mice et mi implémentent de tels méthodes Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

57. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Exclure les Données Manquantes DM L’imputation simple L’imputation multiple L’imputation multiple Etape 1 : on remplace chaque valeur manquante par M (>1) valeurs tirées d’une distribution appropriée. Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

58. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Exclure les Données Manquantes DM L’imputation simple L’imputation multiple L’imputation multiple Etape 2 : on réalise des analyses indépendantes, mais avec la même méthode, de M bases imputées. Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

59. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Exclure les Données Manquantes DM L’imputation simple L’imputation multiple L’imputation multiple Etape 3 : on combine les résultats de ces analyses afin de refléter la variabilité supplémentaire due aux données manquantes. Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

60. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Exclure les Données Manquantes DM L’imputation simple L’imputation multiple L’imputation multiple Exemple sous R > summary(iris) #Après génération des DM sur le jeu de données "iris" Sepal.Length Sepal.Width Petal.Length Petal.Width Min. :4.400 Min. :2.000 Min. :1.000 Min. :0.100 1st Qu.:5.100 1st Qu.:2.800 1st Qu.:1.575 1st Qu.:0.375 Median :5.900 Median :3.000 Median :4.350 Median :1.300 Mean :5.911 Mean :3.042 Mean :3.773 Mean :1.215 3rd Qu.:6.500 3rd Qu.:3.300 3rd Qu.:5.100 3rd Qu.:1.800 Max. :7.900 Max. :4.400 Max. :6.900 Max. :2.500 NA's :17 NA's :20 NA's :18 NA's :18 Species setosa :45 versicolor:44 virginica :41 NA's :20 Pour imputer les valeurs manquantes : > imputed.data <- mice(iris.mis, m=5, maxit = 50, method = 'pmm', seed = 100); m représente 5 jeux de données imputés maxit désigne le nombre d’itérations pris pour imputer les DM method désigne la méthode d’imputation utilisée (ici ; Predective Mean Matching) Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

61. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Exclure les Données Manquantes DM L’imputation simple L’imputation multiple L’imputation multiple Exemple sous R > summary(imputed.data) Multiply imputed data set Call: mice(data = iris.mis, m = 5, method = "pmm", maxit = 50, seed = 100) Number of multiple imputations: 5 Missing cells per column: Sepal.Length Sepal.Width Petal.Length Petal.Width 17 20 18 18 Imputation methods: Sepal.Length Sepal.Width Petal.Length Petal.Width "pmm" "pmm" "pmm" "pmm" VisitSequence: Sepal.Length Sepal.Width Petal.Length Petal.Width 1 2 3 4 PredictorMatrix: Sepal.Length Sepal.Width Petal.Length Petal.Width Sepal.Length 0 1 1 1 Sepal.Width 1 0 1 1 Petal.Length 1 1 0 1 Petal.Width 1 1 1 0 Random generator seed value: 100 Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

62. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Exclure les Données Manquantes DM L’imputation simple L’imputation multiple L’imputation multiple Exemple sous R Pour séléctionner un jeu de données des 5 imputés, on utilise la fonction complete() > completeData <- complete(imputed.data, 2) > summary(completeData) Sepal.Length Sepal.Width Petal.Length Petal.Width Min. :4.400 Min. :2.000 Min. :1.000 Min. :0.100 1st Qu.:5.100 1st Qu.:2.800 1st Qu.:1.600 1st Qu.:0.325 Median :5.800 Median :3.000 Median :4.250 Median :1.300 Mean :5.864 Mean :3.054 Mean :3.749 Mean :1.202 3rd Qu.:6.400 3rd Qu.:3.300 3rd Qu.:5.100 3rd Qu.:1.800 Max. :7.900 Max. :4.400 Max. :6.900 Max. :2.500 Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

63. Les m´ethodes d’imputations en packages de R Figure – Les m´ethodes d’imputations en packages de R [1]

64. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Définition Traitement Outline 1 Exploration de données Traitements préliminaires Pourquoi le traitement des données manquantes 2 Types de données manquantes Données MCAR Données MAR Données MNAR 3 Méthodes de traitement de données manquantes Exclure les Données Manquantes DM L’imputation simple L’imputation multiple 4 Valeurs aberrantes : Outliers Définition Traitement Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

65. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Définition Traitement Outliers Définition Une valeur aberrante est une valeur extrême de la distribution d’une variable, c’est-à-dire qui diffère significativement de l’ensemble des grandeurs d’une variable donnée. Pour les repérer : Boxplot Elle définit les valeurs extrêmes comme les valeurs supérieures ou inférieures à I (=1.5 généralement) fois l’écart interquartile [3] Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

66. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Définition Traitement Détection des Outliers Les boites à moustaches Figure – Détection des valeurs extrêmes avec les boˆıtes à moustaches [3] Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

67. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Définition Traitement Détection des Outliers Les boites à moustaches > x <- c(1:10, 20, 30) > boxplot.stats(x)$out [1] 20 30 Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

68. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Définition Traitement Outline 1 Exploration de données Traitements préliminaires Pourquoi le traitement des données manquantes 2 Types de données manquantes Données MCAR Données MAR Données MNAR 3 Méthodes de traitement de données manquantes Exclure les Données Manquantes DM L’imputation simple L’imputation multiple 4 Valeurs aberrantes : Outliers Définition Traitement Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

69. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Définition Traitement Traitement des Outliers Les valeurs aberrantes peuvent ne pas être des erreurs, mais bel et bien révéler des situations extraordinaires (étude de comportements frauduleux ou d’événements rares). Dans le cas des erreurs (valeurs aberrantes), on pro¸cède par les méthodes d’imputation des NA Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

70. Exploration de données Types de données manquantes Méthodes de traitement de données manquantes Valeurs aberrantes : Outliers Sommaire Sommaire Les jeux de données à analyser peuvent contenir des valeurs manquantes. Si possible, on va chercher à les remplacer par une valeur plausible. Différentes méthodes statistiques existent pour cela. L’une des plus utilisées est l’imputation multiple. Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

71. Annexe Références Références I De Jong, E., Van der Loo, M. : An Introduction to Data Cleaning with R. Statistics Netherlands, The Hauge (2013) Kabacoff, R. R in Action, Data analysis and graphics with R - Manning Publications (2015) Biernat, E. and Lutz, M. Data science : fondamentaux et études de cas, EYROLLES (2011) Zumel, N. and Mount, J. Practical Data Science with R - Manning Publications (2014) Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

72. Annexe Références Références II analyticsvidhya.com/blog A Comprehensive guide to Data Exploration. Tutorial on 5 Powerful R Packages used for imputing missing values Mohamed Ali KHOUAJA Traitement des valeurs manquantes et aberrantes sous R

Traitement des données manquantes et aberrantes sous R

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

En vedette

En vedette (12)

Traitement des données manquantes et aberrantes sous R