Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.

Data Marketing Analysis - an introduction

1 089 vues

Publié le

Cours de data analysis orienté marketing. Introduction au design de l'enquête, à l'analyse descriptive, les modèles de régression, la classification et la clusterisation

Publié dans : Données & analyses
  • Soyez le premier à commenter

Data Marketing Analysis - an introduction

  1. 1. + Data Analysis La première phase d’une enquête est celle de sa conception c’est à dire de sa raison d’être.
  2. 2. + L’étude est une démarche scientifique de fabrication de la vérité  L’enquête est un concept ambigu signifiant quête d'information, collecte de témoignages, recherches pour savoir quelque chose, il se fonde sur la pratique inquisitoriale émergeant au Haut Moyen-âge (et plus loin du travail de l’historien grec Herodote).  On préfère le mot étude qui souligne une démarche rationnelle essayant de réduire la part de subjectivité dans la représentation simplifiée d’une réalité. Elle est le fondement de la vérité scientifique.  C’est une recherche d'information réalisée par observation systématique d’une problématique sur une population déterminée, pour décrire, comparer ou expliquer une pratique.  Les 4 grandes étapes de l’étude sont : La construction de la problématique (I) La collecte de données (II) Analyse de résultat (III) l’interprétation théorique (IV)
  3. 3. + 8 étapes pour conduire un projet d’études (ou un pré-projet !)  ETAPE A : Problématiser l’étude.  Définir les objectif : La première étape consiste à définir l'objectif général. C'est l'énoncé du problème qui nécessite le recours à l'enquête, la question de départ et les grands objectifs du projet.  Lire l’état de l’art : Il s’agit d’utiliser de nombreuses sources d’information pour se renseigner sur le phénomène à étudier. Web, Presse, Revues spécialisées, Revues Scientifique, Livre…Une somme de connaissances stables doivent être mobilisées pour mieux appréhender le phénomène en dégageant les concepts et les hypothèses à étudier.  Mobiliser l’expérience : La réflexion avancée peut être nourrie par des brain storming avec des experts sur le domaine. Un réseau doit être constitué fait de chercheurs, de professionnel très expérimenté mais aussi d’acteur ou de témoins privilégiés voire d’un pré-échantillon.  Définir les Hypothèses : La seconde étape consiste à décomposer l'objectif général en objectifs ou questions plus limités. Ces questions mettent en relation des concepts ou notions pas un mode de corrélation. Les objectifs spécifiques peuvent aussi être énoncés sous forme d'hypothèses.  ETAPE B : Designer de l’enquête  Constituer le set de variables : La troisième étape est la préparation de l'instrument d'observation par l'élaboration du questionnaire en concepts opérationnalisés en indicateurs.  Constituer de l’échantillonnage : Quelle population va être interrogé, qui est soumis à l'enquête, ET quelle est la taille de l'échantillon, comment seront choisis les répondants, quelle est la modalité d’échantillonage.  Organiser le Plan de collecte : Dans la cinquième étape, on tente de définir le plan de collecte, c'est-à-dire la façon d'organiser le déroulement de l'enquête par les différends acteurs de l’ étude. Il comprend aussi l'élaboration d'un pré test  ETAPE C : Conduire l’enquête  Recueillir les données : La sixième étape est le recueil de l'information proprement dit. Le questionnement des sujets et la réalisation sur le terrain selon la modalité choisie dans une démarche de pilotage assurant la qualité de l’observation.  Nettoyer et recoder des données : S’en suit la préparation des données. Les données sont non seulement nettoyées mais une série d’opérations en génèrent de nouvelles. On réalise le codage des données en prévision d'analyse statistique.  ETAPE D : Analyser les données  La septième étape consiste à analyser les données. Les informations sont traitées en fonction de la nature des données et les objectifs de l'étude (description, comparaison ou vérification d'hypothèses). On se préoccupe aussi de la qualité des données recueillies.  L’interprétation des analyses : Les différentes analyses servent de preuves à une interprétation du phénomène et à la réponse aux différentes hypothèses émises. On décrit, compare, répond aux hypothèses et ouvre vers de nouvelles interrogations. Communiquer le Rapport Final est le moment stratégique des études. C’est un vrai projet de communication, tant dans sa conception que dans sa diffusion. S’il n’est pas rattaché à la fabrication du support, il est à lui seul un projet qu’il faut appréhender dans sa globalité
  4. 4. + Comprendre le problème Fabriquer des hypothèses de travail pour l’étude en communication
  5. 5. + Définition des objectifs de l’étude  Il s’agit d’essayer de cadrer le problème sur une étude réalisable dans le temps et le budget imparti.  On distingue des enquêtes descriptives, explicatives, comparatives et ou longitudinales  La pré-études n’est pas une mini- études mais bien une recherche de la plus grande variabilité du phénomène sur un échantillon moindre (notamment avec la question ouverte « autres »).  La mise en place d’un comité d’expert peut permettre de faire un rendu intermédiaire et par des méthodologies de brainstorming, tester le travail préalable et les hypothèses émergentes  Il faut pouvoir se documenter et s’informer pour élaborer des hypothèses réalistes  Information documentaire : on cherche dans la documentation préalable des descriptions du phénomène, des théories, des explications etc.  On recherche du plus général au plus spécifique par rapport au sujet  Parfois on établit une pré- enquête qualitative et ouverte auprès d’experts, auprès de témoins privilégiés ou auprès de la population cible en petit échantillon non représentatif  On oublie pas de se documenter sur l’existence d’études préxistantes.
  6. 6. + Choisir le type d’etude : qualitative ou quantitative  On dit des variables d’une enquête qu’elle sont ouvertes ou fermées, qualitatives ou quantitatives mais par extension (et abus de langage) on parle d’un projet d’étude « qualitatif » ou « quantitatif » :  Etude qualitative : Une enquête possédant de nombreuses questions ouvertes qualitatives d’ordre textuelles qui subiront un traitement postérieur par thématisation, synthèse et résumé. Ce sens des enquêtes à « large maille » pour appréhender des phénomènes complexes, mal connus ou en phase préparatoire d’une enquête. On aborde souvent les représentations, les modes de vies, les types de discours par une enquête qualitative. On traite aussi les situations nouvelles, les innovations ou les pratiques marginales ou atypiques…  Etudes quantitative : Une enquête possédant de nombreuses questions fermées (pas nécessairement) quantitative mais qui subiront des analyses et des traitement quantitatifs de dénombrement pour décrire, trier, comparer et évaluer des facteurs d’un phénomène. Cette approche extensive est nécessaire sur des grands nombres afin de réduire l’observation d’une réalité à des marqueurs précis qui sont corrélés aux phénomènes étudiés. Cette construction de la réalité doit être mise à l’épreuve d’une discussion scientifique.  On distingue aussi l’approche individuel de l’approche de population c’est à dire la logique de l’étude de cas ou étude clinique ou l’on s’intéresse à l’individu de manière extensive et l’étude de population qui s’intéresse à un phénomène précis et à ses facteurs déterminants  L’échelle de distinction entre les différentes approches repose sur la capacité à réduire la réalité à une grille de facteurs précis. Plus la réalité est complexe, inconnues et subjectives plus l’étude sera globale et ouverte. Plus le phénomène sera étudié et connu plus on tendra vers des approches quantitatives et fermées.
  7. 7. + Fabriquer les hypothèses On doit choisir les hypothèse les plus utiles et les plus plausibles au regard de l’étude préalable. On essaye d’avoir un juste équilibre entre l’utilité de l’étude (au regard de la problématique et des possibilités de trouver une réponse pertinente) Facteurs (ou concepts) Les relation Indicateur Définir les concepts qui décrivent le phénomène étudié et qui sont susceptible de l’influencer La relation permet de définir le lien de corrélation qui devrait lier les facteurs entre eux C’est une variable observable qui permet de donner sens à la variation du concept. Elle doit être facilement observable et corrélée aux états du concept Donner des exemples clair et anticiper sa variation. Donner des relations qui sont plausible et logique. Ex. plus le niveau d’étude est élevé, plus le salaire est élevé Ex. Température est un indicateur corrélé à la chaleur du climat ou à l’état de santé d’un patient… Facteur explicatif Indicateur 1 Indicateur 2 Indicateur 3 … Concept expliqué Indicateur 1 Indicateur 2 Indicateur 3 … Relation Pour étudier les notions qui constituent l'objet de l’enquête, il faut trouver les indicateurs empiriques, des moyens de les approcher, de les mesurer. On distingue donc le niveau théorique de la notion, le niveau intermédiaire des indicateurs, et le niveau de réalité des questions-réponses.
  8. 8. + Système de documentation et reproductibilité des résultats  Journal de recherche  Dispositif d’annotation
  9. 9. + Construire son étude S ’assurer de la faisabilité de l’étude
  10. 10. + Planifier ses études:  Le premier moment d’une enquête est dite descriptive ou transversale en ce qu’elle décrit la population des individus en les discriminant selon les indicateurs normés. Elle peut aboutir à une clustérisassions en socio-type.  Puis peut venir un second temps des explications des phénomènes en faisant corréler une ou plusieurs variables les unes avec les autres tout en essayant d’interpréter cette corrélation. Les différentes régressions sont les outils clés de cette approche.  La comparaison permet de distinguer deux échantillons d’une population selon un ou plusieurs critères discriminants  Comparaison cas-témoins : comparer des groupes qui se distingue selon les modalités d’une variable.  Comparaison expérimental : on compare un groupe qui a subit des expériences au regard d’un groupe ayant les même caractéristiques mais qui ne les a pas subi.  Comparaison longitudinale : Comparer un même groupe après et avant l’intervention d’un facteur causal  Les études de tendances vise à tirer périodiquement des échantillons d’une même population à travers plusieurs enquête. Quand il s’agit exactement du même échantillon on parle d’étude de panel.
  11. 11. + Choisir sa méthode d’enquêtes selon les cas à observé  Il existe plusieurs méthodes qui se distingue par la méthode de collecte de données et l’objet étudié.  L’analyse de données permet bien souvent l'observation de traces recueillies indépendamment du projet de l’étude mais qui ont la particularité d’être des marqueurs des phénomènes étudiés.  Observation directe permet de relever des données directement en contact avec les phénomènes étudiés. Ils sont enregistrables. Ce qui n’empêche que l’observateur peut être engagé ou pas dans la situation voire médiatiser son observation.  L’expérimentation (ou expérience) consiste à modifier intentionnellement un facteur dans le phénomène étudié pour observer ses conséquences sur les autres facteurs. La méthodes peut être plus ou moins contraintes dans un « laboratoire ».  Le questionnaire d’enquête vise à relever des témoignages du phénomène auprès des acteurs en lien avec le phénomène pour qu’ils nous rapporte, nous re-présente une réalité vécue, une opinion, une croyance, des imaginaires.
  12. 12. + Observer un phénomène directement  Le cas de l’étude directe de données.  On peut utiliser des données non- standardisées déjà existantes et appliquer une standardisation par codage  Les données dites primaires peuvent être de plusieurs natures : Mesures quantitatives, texte, vidéos, images.  Soit directement sur les données de manière algorithmique  Soit par observation humaine mais selon des grilles de codage très claires Le codage doit être une règle de transformation des données transparente et réplicable. En cas d’observation humaine, elle doit être testée par plusieurs observateurs.  On parle d’observation directe quand l’enquêteur est en prise directe avec le phénomène étudié.  Une observation directe exige lui aussi un codage rigoureux d’où souvent la nécessité d’une pré- étude préalable pour maitriser la variabilité du phénomène et le type de traitement nécessaire.  On dit que l’observation est participante (située) ou non en fonction de la relation entre l’enquêteur et l’échantillon étudié.
  13. 13. + Fabriquer son échantillon représentatif  Un échantillon représentatif : étudier une partie de la population en s’assurant d’une homologie des deux.  Population parent : somme total des individus (unité statistique) définit par des caractéristiques structurales, comportementales ou représentationnelles  La représentativité doit assurer des réponses plus ou moins identiques entre échantillons et population parente  Une enquête exhaustive est non seulement souvent impossible mais sa réalisation serait très difficile et donc emplit d’erreur. Un échantillon doit être définit en taille (n vers 1000 à 10000) et selon la méthode d’échantillonage.  La meilleur méthode : « chaque individu a une égale chance d’être présent dans l’échantillon »  Techniques probabilistes ou aléatoires : Pour supprimer tous les biais, le tirage systématique et/ou aléatoire est le meilleur moyen. Cas de population instituée (en entreprise par exemple). La population peux être tirée au hasard en strates (tirage au hasard à chaque niveau) ou par grappe (tirage en strates avec exhaustivité de la dernière strate dit grappe)  http://www.statcan.gc.ca/edu/power- pouvoir/ch13/prob/5214899-fra.htm  Méthode des quotas : Reconstituer une population ayant des critères données (variables contrôlées).Cette échantillon peut être redressé a posteriori pour correspondre au quotas.  A l’inverse un échantillon peut être un prisme dans le sens où il définit une population selon ses critères ou ses techniques de constitutions. Population qu’on découvrira a postériori (cas des populations définies par leurs comportements ou leur représentations)  Il reste l’échantillonage par boule de neige dans les réseaux d’individus connectés jusqu’à épuisement du réseau. Pour l’analyse, on doit connaître les caractéristiques de l’échantillon, vérifier la représentativité, évaluer les non réponses aux questions.
  14. 14. + Analyse Bi-Variée Comparer des variables deux à deux.
  15. 15. + TD – Installer son espace de travail Dans R  Installer R et R Studio  Installer les packages  install.packages("gplots", dep=TRUE)  install.packages("epitools")  etc…  Charger les package avant utilisation  library(epitools)  library(prettyR)  Etc…  Sauvegarder le Travail  Les Datas : save(dataset, file=”xxxx.Rdata”)/load(« xxxx.Rdata »)  Les instructions : savehistory(“myfile.R”)  L’espace de travail complet : save.image(file =« myfile.Rdata »)  Ecrire un csv write.table(MyData, file = "MyData.csv",row.names=FALSE, na="",col.names=FALSE, sep=",") ou write.csv(MyData, file = "MyData.csv",row.names=FALSE, na="")  Importer des données dans un tableau  Chemin de base : setwd("D:/mooc")  smp <- read.csv2("D:/mooc/smp1.csv")  Etc…  Manipuler le tableau  view(smp)  dim(smp); nrow(smp), ncol(smp)  names(smp)  str(smp); summary(smp); describe(smp) dans prettyR  smp$variable; head(smp$variable, n); tail(smp$variable, n)  summary (smp), head(smp), tail(smp)  length(v)  Aide sur les fonctions  help.search(« fonction »)
  16. 16. + Préparation des données avec Open Refine  Encodage et aggrégation : Il faut néttoyer les données de toutes les erreurs, les manquements et les erreurs de remplissage.  Décider d’une valeur au non- réponse  Agréger les réponses en modalités aux réponses suffisantes  Encoder les variables en variables plus synthétiques ou plus combinées (type indice)  Changement de nature entre variables qualitatives et variables quantitatives On distingue les variables primaires présentent lors de l’observation, des variables synthétiques issues d’opération d’aggrégation  Il faut produire un dictionnaire de code qui résume la nature des variables primaires et des variables synthétiques  Les set de données contenant toutes les réponses s’appelle le tableau de données  Il faut penser à parcourir entièrement le set de données pour vérifier les incohérences et les erreurs.
  17. 17. + Recoder les variables dans R  Renommer  names(d)[names(d)=="emitter_type"] <- « emit »  Supprimer  remove(D)  d$v <- NULL  Convertir  To bin  var <- ifelse(test, 1, 0)  To character/numerique  v.char <- as.character(v)  V.num <- as.numeric(v.char)  To Class  range(d$age) pour avoir les min et max // d$age20 <- cut(d$age, c(min, 20, 40, 60, 80, max) ou un Nb de classes, include.lowest = TRUE et/ou right = FALSE, labels = c("<20ans", "21-40 ans", "41-60ans", "61-80ans", ">80ans")) // table(d$age20)  library(questionr) // icut(d, var)  d$age6cl <- quant.cut(d$age, 6) pour des classes à eff égal  quantile(var, prob=c(0.1,0.2)  To factor  v<- factor(v, levels = c(0,1), labels = c("Non", "Oui"))  levels(d$fs.fac)  Compacter factor  v.comp <- as.character(v) // v.comp[v == "Ouvrier specialise" | v == "Ouvrier qualifie"] <- "Ouvrier" // v.comp[v == "Profession intermediaire" | v == "Technicien"] <- "Intermediaire" // v.comp <- factor(v.comp)  library(questionr) // irec(d, qualif)  V.distr <- interaction(v1, v2)  Pour qualifier les NA  V.sansNA <- as.character(v) // v.sansNA[is.na(v)] <- "Manquant » // v.sansNA<- factor(v.sansNA)
  18. 18. + Analyser une variable qualitative  Il s’agit ici d’étudier des variables selon leurs modalités soit quantitatives soit qualitatives.  Quand la modalité est qualitative, l’échelle des modalités est soit nominale ou soit ordinale  Une variable qualitative a pour fonction de discriminer une population, ses comportements et ses représentations selon ses qualités.  L’observation peut amener à une recodification de la variable voire à la fabrication d’indice.  On repaire le mode et sa part dans la population (la modalité la plus présente)  Dans les variables qualitatives nominales, on tris les modalités par ordre asc ou desc pour regrouper les modalités par taille et observer si ces regroupements caches d’autres variables  Dans les variables qualitatives ordinales, l’ordre ne peut être changé car c’est la répartition qui est signifiante. On peut y repérer la médiane.  Une variable qualitative prend tout son sens dans un ensemble de variables autours d’un thème donné ou en comparaison d’autres études de référence.
  19. 19. + Analyser une variable quantitative  Il s’agit ici d’étudier des variables selon leurs modalités soit quantitatives soit qualitatives.  Quand la modalité est quantitative, l’echelle des modalités est soit discrète (séparation stricte) soit continue (infini décimale)  Une variable quantitative vise à mesurer l’intensité d’un phénomène selon une variable mesurable  On repaire le mode, la médiane et la moyenne. C’est l’étude entre ces trois chiffre qui peut être très instructive sur la variable.  On calcul aussi l’écart type de la moyenne, l’étendue, les quartiles et les déciles pour mieux comprendre la réparition  On peut encoder une variable quantitative en classes qualitatives (ex. âge)  La notion de test paramétrique ou non paramétrique est essentiel
  20. 20. + Analyse Monovariée  Variable 1 dim = vecteur  taille <- c(1.88, 1.65, 1.92, 1.76)  class (taille)  rep(c("a", "b"), 3) (répète en boucle)  seq(from, to, by=n) (ou raccourcis from:to)  Name(vecteur) <- c(« toto », etc.)  vecteur[n] or [n:n] or [c(1, 3, 5)] ou [c(-3, -6)]  Vecteur[vecteur comme condition == ou !=, etc.)] avec & ou | (shift alt L)  Le cas de !is.na(vecteur) pour « qui ne sont pas NA »  which(condition)  subset(dataset, condition & | (shift+alt+l) condition 2)  Variable Quali  table(v, useNA=”always/ifany/no”) ou summary(v); sort(table(v), decreasing = TRUE); freq(d$qualif, cum = TRUE, total = TRUE, sort = "inc", digits = 2, exclude = NA)  which (v == valeur)  prop.table(tab, margin=1 OR 2)*100 pour proportion des effectifs en % ou sur la la ligne ou la colonne  Graphique  plot(v, v2)  plot(table(d$freres.soeurs), main = "Nombre de frères, soeurs, demi-frères et demi-soeurs", ylab = "Effectif")  Variable Quanti :  mean(v, na.rm=true), median (v), min (v), max(v), sd(v), range(v), quantile(v)  summary(v)  Graphique  plot(fonction(v.quanti), v.quali)[essayez avec fonction ecdf()]  hist(d$heures.tv, main = "Nombre d'heures passées devant la télé par jour", xlab = "Heures", ylab = "Effectif », probability=TRUE, class=n, col=« blue »)  boxplot(d$heures.tv, main = "Nombre d'heures passées devant la télé parnjour", ylab = "Heures")
  21. 21. + Corréler deux variables qualitatives : Tris croisé et Khi2  On peut rechercher les corrélations entre deux variables qualitatives en faisant un tri croisé en tableau  La variable en colonne est la variable à expliquer, la variable en ligne est la variable explicative  On considère que les variables sont indépendantes si le tableau observé est proche du tableau théorique de répartition.  S’il est différent, alors le test du Khi2 permet de montrer si cette différence est suffisamment significative pour deviner une corrélation  On calcule donc un écart absolu quand on fait la différence entre l'effectif observé et l'effectif théorique. Ces écarts absolus montrent quand ils sont positifs qu'il y a x individus en trop par rapport à la situation d'indépendance (phénomène d'attraction) et quand les valeurs sont négatives (phénomène de répulsion) qu'il manque des individus par rapport à la situation d’indépendance.  On calculera l'écart relatif en rapportant l'écart absolu sur l'effectif théorique afin de pouvoir exprimer l'intensité de la répulsion ou de l'attraction entre modalités de deux variables.  La distance Khi2 est la somme des Khi2 de chaque case calculé comme l’écart relatif multiplié par l’écart absolu
  22. 22. + Analyse quali dans R  Table (v1, v2) ou xtabs(~v1+v2, dataset)  prop.table(tab, margin=1 OR 2, digits = 2, percent = TRUE)*100  Graphique  barplot(cprop(tab, total = FALSE), main = "Pratique du sport selon le niveau de qualification")  mosaicplot(v1~ v2, data = d, shade = TRUE, main = "Graphe en mosaïque")  library(vcd)/ mosaic(~sport + cuisine + sexe, d, highlighting = "sexe", main = "Exemple de graphique en mosaïque à 3 dimensions")  Test de Chi2  Tab <- table(v1, v2) / chisq.test (tab)  Library(questionr)/chisq.residuals( tab) pour les sup à 1,96  fisher.test (x, y) si faible effectifs
  23. 23. + Corréler deux variables quantitatives : corrélation et régressions  On peut comparer la variance de deux variables d’un même échantillon si elles sont de même nature. On dit alors que les échantillons sont appariées. On utilise le Test de Student pour les P (même variance). On utilise alors les coefficient de corrélation de Pearson (Pour les NON-P. la Corrélation de Spearman).  Deux variables quantitatives forment un nuage de points qui peuvent entretenir une relation qui signifierait une corrélation entre les phénomènes  Cette corrélation peut être approchée par une régression dites linéaire (qd la fonction est une droite) ou complexe (asymptotique, exponentielle, etc).  Une régression peut être multiple qd Y est corrélé à plusieurs variables formant ensemble une fonction signifiante  Le coef. de corrélation r compris entre -1 et +1 montre le sens d’un corrélation  r2 (coefficient de détermination) donne l’intensité de la corrélation soit la part de Y expliqué par X rXY = (Xi - X)´(Yi -Y) i=1 n å (Xi - X)2 i=1 n å ´ (Yi -Y)2 i=1 n å
  24. 24. + Analyse quanti dans R  Tests  t.test(v1 ~ v2) (si normal shapiro.test(v) et même variance var.test(v1~v2))  wilcox.test(V1~V2) pour les non-p  t.test(v, mu=valeur de référence)  Graphique  plot(rp99$dipl.sup, rp99$cadres, ylab = "Part des cadres", xlab = "Part des diplomês du supérieur », pch = 19, col = rgb(1, 0, 0, 0.1))  plot(jitter(smp$age, factor=n), jitter(smp$n.enfant, factor=n)) jitter pour décaler les points et tous les voirs  plot(rp99$dipl.aucun, rp99$tx.chom, cex = rp99$pop.tot/10^4) (pour 3ème variable)  plotmeans(variable~temps)/interaction.p lot(temps, individus, variables)  Corrélation et Regression  cor(v.quanti1, v.quanti2)  reg <- lm(v.quanti1~ v.quanti2, data = dataset) // summary(reg) // abline(reg, lwd=2)  Sinon cor.test(x,y, method=”spearman”) pour les non-p  Régression Linéaire multiple  reg <- lm(v.quanti1~ v.quanti2 + vQuanti3 + v.quanti…, data = dataset) // summary(reg) // abline(reg, lwd=2)  On peut aussi tester la synergie (avec *) entre deux variable pour voir si le modèle additif est simple reg <- lm(v1~v2+V3*V4..., data=dataset)  Conditions de validité : Normalité du bruit (le bruit est indépendant et sans corrélation) : hist(resid(modl), col=”grey”, main) https://www.youtube.com/watch?v=ys4Q8R9yRxk https://www.youtube.com/watch?v=nzIL8sQ3auI
  25. 25. + Corrélation entre une variable quali et une variable quanti  Une variable quantitative peut être comparée en classes ou sous- groupes selon les modalités d’une variable quantitative. On utilise pour cela des tests d’échantillons indépendant.  Quand la variable qualitative est binaire, on utilise le Test T de Student sur échantillon indépendant (Pour P Normale et Variance)ou les tests de Kolmogorov-Smirnov ou Mann-Whitney (pour Non-P).  Quand la variable qualitative a plus de deux modalités on utilise le test de l’ANOVA (ou analyse de la variance) pour P et test de KrustalWallis pour Non-P  La variable p permet de connaître les risques d’erreurs à rejeter H0 : Les deux échantillons ont le même comportement.  Chaque test a ses propres paramètres qui permettent de compléter les informations pour analyser les différences.
  26. 26. + Analyse Quanti/Quali dans R  Test  Tapply(v.quanti, v.quali, mean (et var) na.rm=TRUE)  Aggregate (v.quanti~v.quali, Dataset, indicateur)  Graphique  boxplot(age ~ hard.rock, data = d)  Anova :  ATTENTION avec des V.QUALi, R recode toutes les variables.quali en variables.bin et fait une régression multiple quanti. ATTENTION (bis) la première modalité n’apparait pas elle est implicite (toutes les autres à 0)  vQuali <- relevel(vQuali, ref=”modalitechoisie”) ##changer la modalité de référence  reg <- lm(v.quanti1~ v.quali, data = dataset)  summary(reg)  drop1(reg, .~., test=”F”)
  27. 27. + Analyse binaire des var.quali : la régression logistique  Variable expliquée binaire s’explique comme le log des probabilité des réponses de variable binaire ou ordonnée ou libre  ensuite exp(coefficients(reg)) donne le l’odd ratio de ce facteur (augmentation de probabilité)  Regression logistique quali  vQuali <- relevel(vQuali, ref=”modalitechoisie”) ##changer la modalité de référence  modl <- glm(v1~v2+V3+V4..., data=dataset, family=”binomial”)  summary(modl)  Et drop1(modl, .~., test=”Chisq”) ## donne le test avec variable quali compactée  ensuite exp(coefficients(modl)) donne le l’odd ratio de ce facteur (augmentation de probabilité)  On peut aussi tester la synergie (avec *) entre deux variable pour voir si le modèle additif est simple : modl <- glm(v1~v2+V3*V4..., data=dataset, family=”binomial”)  a vérifier avec library(Epi) // twoby2 (x explicatif, x expliqué) https://www.youtube.com/watch?v=fUmDPVHah1U https://www.youtube.com/watch?v=hzwLWbngzVo
  28. 28. + Profilisation et classification des individus
  29. 29. + Analyse des Composantes principales : Variables Quanti  Partition de groupes d’individus homogènes selon les valeurs des Variables centrées-réduites (fonction scale dans R) : Valeur moins moyenne/ecart-type (% de l’ecart-type, 1,96 est 95% de la normale)  On fait un nuage de point d’individus à K variables dimensions. La Ressemblance égale faible distance entre individus  On réduit les dimensions en facteurs  Liaisons linéaires entre variables (matrice de corrélation). On fait un Cercle des corrélations : On lit le coef des variables à l’axe puis le cos entre variables (attention proche du cercle avec d=Racine[2(1-r)])  Ajustement sur deux axes (facteurs) perpendiculaires (avec meilleurs inerties) des individus.  Variables et individus sont liés et s’explicite l’un l’autre  Lire somme des % d’inertie de chaque axe(1) puis qualité de représentation par somme des Cos2 sur deux axes(2) et contribution des variables sur axes  https://www.youtube.com/watch?v=KrNbyM925wI&list=PLnZgp6epRBbRn3Fe MdaQgVsFh9Kl0fjqX
  30. 30. + ACP In R  Matrice de corrélation de v.quanti  Eliminer les donées manquantes. use=« complete.obs » use=« pairwise.complete.obs »  round(cor(d[,var],use=« complete.obs », digits=n) #digits pour les virgule  library(corrplot)//corrplot(cor(d[,var],use=« complete.obs », method=« circle »)  heatmap(cor(d[,modl],use=« pairwise.complete.obs »), col=gray(seq(1,0, length=16)))  ACP  modl <- c(« name.v1 », « name.v2 », etc.)  library(psy)  mdspca(d[,modl])  sphpca(d[,modl]) #pour la 3D  ACP Focalisée : Cas d’une variable à expliquer par d’autres variables  modl.plique <- « name.vplique »  modl.catif <- c(« name.v1 », « name.v2 », etc.)  library(psy)  fpca(data=d, y=modl.que, x=modl.catif, partial=« No »)  Très utiles pour la régression multiple  ACP avec factominer  library(FactomineR)  res <- PCA (d, quanti.sup=n:n, quali.sup=n)  Summary (res, nbelements=Inf, file=« essais.text »)  Plot(res, cex=0.8, habillage:v, select=« cos2 0.7 »))  dimdesc(modl)  ACP dans Factoshiny  Library(Factoshiny)  modl=PCAshiny(d)  PCAshiny(modl)  modl  Gestion des données manquantes. On trouve la variable manquante par ACP itérative  library(missMDA)  nb <- estim_ncpPCA(d, scale=TRUE)  d.comp <- imputePCA(d, ncp=nb, scale=TRUE)  res.pca <- PCA (d.comp$completeObs)  Si trop de données manquantes risque de biais par forte imputation donc  Mi <- MIPCA(d, scale=TRUE, ncp=2)  Plot Mi
  31. 31. + Analyse des correspondances multiples : Variables Quali  Tableau disjonctif complet : Ligne X modalité (0,1)  Chaque modalité est une variable quanti 1/0 que l’on pondère par la rareté : 1/p  Cette pondération forme une coordonnée dans un espace à K dimension pour le tableau d’individus  Tout le reste proche de ACP  Nuages des modalités : constituée au barycentre des individus qui la possède  https://www.youtube.com/watch?v=bihScz3OXbw&list=PLnZgp 6epRBbTvk5fznOuiZSz8ZC6aS5sz
  32. 32. + ACM dans R  ACM avec FactomineR  library (FactomineR)  res.mca <- MCA (d, quanti.sup=v, quali.sup=v)  summary(res.mca, nbelements=Inf)  plot(res.mca, invisible= c(« ind », « quali », « quanti », « quali.sup », « quanti.sup », « var »), label=c(« ind », « quali », « quanti », « quali.sup », « quanti.sup », « var »), autolab=« y », cex=0.7, selectMod=critère )  Gestion des données manquantes. On trouve la variable manquante par ACP itérative  library(missMDA)  nb <- estim_ncpMCA(d) #trouve lenombreoptimal de composante  d.comp <- imputeMCA(d, ncp=nb) #crée un jeu de données complet (2ou 4 facteur)  Res.mca <- MCA (d, tab.disj=d.comp$tab.disj)  Si trop de données manquantes risque de biais par forte imputation donc  Mi <- MIPCA(d, scale=TRUE, ncp=2)  plot(Mi)
  33. 33. + Classification Ascendante Hierarchique  Il faut une mesure de proximité ou de simularité entre individus (distance entre valeur d’un variable, distance euclidiene ou indice spécifique métier)  Par itération, on regroupe deux à deux la plus petite distance en un groupe…  Ratio Inertie Inter/Inerte Total donne la qualité de la partition (0 à 1). On choisit le nombre de groupe selon l’inertie conservée après partition (InerInter/InerTotal > inertie de Axe 1)  Une ACM/ACP transforme le tableau en facteurs quantitatifs moindres. On peut ensuite faire une CAH sur ces dimensions.  https://www.youtube.com/watch?v=SE_4dLh5vXY&list=PLnZgp6e pRBbRwGBLnM8GEmcxuQGM0_oIk
  34. 34. + CAH in R  CAH de variables  modl <- c(« name.v1 », « name.v2 », etc.)  cah.v <- hclust(dist(t(scale(d[,modl]))),method=« ward »)  Plot(cah, xlab=« », ylab=« », main =« CAH de variables »)  CAH avec FactomineR à patir de ACP ou ACM  res.hcpc <- HCPC(res.ACP ou ACM)  res.hcpc$data.clust (la bd avec les clusters)  res.hcpc§desc.var (décris le rapport variable et classes)  res.hcpc$desc.ind (les parangons)
  35. 35. + Partitionnement en classes par les K-Means  Par itérations, on choisit nombre de classes et on rassemble les individus par proximité des barycentres.  Une ACM transforme le tableau en facteurs quantitatifs moindres. On peut ensuite faire un K-means sur ces dimensions.  On peut faire une partition par CAH en initialisation et consolider par K-Means ou l’inverse.  Puis lire  (1) parangon de chaque classe = individu le plus proche  (2) On peut chercher les p par ANOVA de chaque variable sur les classes. Plus le p est petit, plus la variable a peser sur la classe. (pour quali on fait un Khi2 et on utilise aussi p)  (3) v.test pour valeur test (>1,96 pour la normal) caractérise le poid de la variable sur la classe. Pour les modalités :on regarde aussi les p et les v.test
  36. 36. + Analyse des réseaux sociaux
  37. 37. + La relation au cœur des facteurs comportementaux  Deux tables : Des nœuds et des relations  Des qualifications du réseau et de ses sous réseaux  Des qualifications structurales des nœuds  Analyse du comportement relationnel comme facteurs expliquant ou expliqués  Des visualisations de réseaux heuristiques  Analyser les réseaux (comparaison ou longitudinal)  Sum Nœud, Sum Degré, Statistiques des degrés (Moyenne, Quartiles, Déciles, etc), Statistiques des propriétés quali et quanti  Plus court Chemin, Diamètre, Chemin Moyen, Coefficient de clustering, Densité  Composante connexes; Modularity (w Resolution), nb Communautés
  38. 38. + Analyse de la situation du nœud  Nb dégrés (in, out, weigted) ex. les isolés ? Les réciprocités ? Triades et transitivités [Indice de transitivités]?  Centrality Betweeness/Closeness or Eccentricity/Egenvector or Page Rank  Hub / Authority  Modularity/Composante Connexe/Coefficient de clustering
  39. 39. + Analyse du comportement de lien  Type de lien (directed – undirected )  Source – destinataire et leurs attributs respectifs  Poids des liens  Propriétés des liens et multiplexité  Durée de vie du lien (Intervalle de dates)
  40. 40. + Les grandes lois des réseaux  Rôles : Similarités des comportements envers les autres [équivalence structurale]  Effet Saint Mathieu: ce qui attirent beaucoup attirent encore plus  6 degrés de connexions  La limite des 148 contacts actifs (690 max)  La taille compte (pour l’accès aux ressources)  Relation influence / sélection dans la Network theory
  41. 41. + A voir  Intervalle de confiance  Moyenne : t.test(d$heures.tv, conf.level = 0.9)  D’une prop pour variablebinaire: prop.test(table(relevel(d$sport, "Oui")), conf.level = 0.9)  Ou encore : library(binom) / binom.confint(x,N,method=”all”)

×