Regression simple

RÉGRESSION SIMPLE
PRINCIPES,APPLICATIONS SOUS LE LANGAGE R
Dr Mustapha Michrafy Dr Bernard Kouakou
M. MICHRAFY & B. KOUAKOU datascience.km@gmail.com

Plan
• Introduction
• Régression simple
• Estimation des paramètres
• Validation du modèle
• Intervalle de confiance
• Commande R pour la régression simple
• Formules mathématiques
• Loi Student : Rappel

Prérequis
• Connaissance de l’algèbre linéaire
• Notions en optimisation mathématique
• Connaissance de la statistique de test

Introduction 1
• Qu’est-ce la régression ?
La régression est un ensemble de méthodes statistiques servant à analyser la
relation entre une variable Y et une (ou plusieurs autres) variable(s) X.
Exemple : établir la relation entre la taille d’une personne (variable expliquée)
et son poids (variable explicative).
• Qu’est-ce qu’un modèle de régression ?
C’est une équation visant à représenter la relation entre les variables X et Y :
Y = f(X) + ߝ
• Qu’est-ce qu’une variable explicative ?
C’est la variable connue X utilisée pour prédire la variable Y.
• Qu’est qu’une variable expliquée ?
C’est la variable Y (inconnue) dont on veut déterminer (prédire) la valeur à
partir des valeurs de X

Introduction 2
• Qu’est-ce que le résidu ?
C’est la marge d’erreur ou d’imprécision du modèle ; (elle est désignée
par ߝ dans l’équation du modèle précédent).
• Qu’est-ce la régression linéaire ?
C’est d’abord un modèle de régression.
De plus, il est fait l'hypothèse que la fonction qui relie les variables
explicatives à la variable expliquée est linéaire dans ses paramètres.
Exemple : Y = ߚଵx + ߚ଴ + ߝ.
• Qu’est-ce que la régression linéaire simple.
C’est un modèle de régression où la relation entre la variable
expliquée Y et la variable explicative X est réduite à : Y = ߚଵx + ߚ଴ + ߝ.

Régression Simple
• Vise à mettre en relation une variable Y à expliquer et une
variable explicative X.
• Pour chaque valeur x1, x2, …xn de X, on observe (prédit)
les valeurs correspondantes y1, y2, …yn.
• On postule l’existence d’une relation E(Y) = ߚଵx + ߚ଴.
• Elle est équivalente, à : Y = ߚଵx + ߚ଴ + ߝ avec E(ߝ)=0.
• On cherche des estimateurs ߚଵ
෢ et ߚ଴
෢ de ߚଵ et ߚ଴ .

Méthodes de calcul des estimateurs
• Quelques méthodes pour calculer les estimateurs.
• La méthode des moindres carrés ordinaires, MCO :
Consiste à rechercher les paramètres a et b minimisant les
différences : ∑ ሺ‫ݕ‬௜ െ ߚ଴
෢ െ ߚଵ
෢‫ݔ‬௜ሻଶ௡
௜ୀଵ
Elle sera utilisée dans la suite de ce document
• La méthode du Maximum de vraisemblance
• La méthode par inférence bayésienne

Méthode des moindres carrés Ordinaires
(MCO)
Notation :
‫ݕ‬ො ൌ ߚ଴
෢ ൅ ߚଵ
෢‫ ݔ‬la droite qui ajuste le nuage de points (ߚ଴
෢et ߚଵ
෢ sont les
estimateurs calculés).
‫ ݕ‬ഥ ൌ
∑ ௬೔ ೔
௡
, la moyenne des ‫ݕ‬௜ .
ܵ‫ܴܥ‬ ൌ ∑ ሺ‫ݕ‬௜ െ ‫ݕ‬ො௜ሻଶ
௜ , la somme des carrés résiduels
ܵ‫ܧܥ‬ ൌ ∑ ሺ‫ݕ‬ො௜ െ ‫ݕ‬ത௜ሻଶ
௜ , la somme des carrés expliqués.
SCT = ∑ ሺ‫ݕ‬௜ െ ‫ݕ‬തሻଶ
௜ , la somme des carrés totaux :

MCO (Régression avec constante)
Régression avec constante (ߚଵ et ߚ଴ sont non nulls)
SCT = SCE + SCR, i.e.
∑ ሺ‫ݕ‬௜ െ ‫ݕ‬തሻଶ
௜ ൌ ∑ ሺ‫ݕ‬ො௜ െ ‫ݕ‬ത௜ሻଶ൅ ∑ ሺ‫ݕ‬௜ െ ‫ݕ‬ො௜ሻଶ
௜௜ .
• Interpretation des quantités:
SCR est la somme des carrés totaux. Elle traduit la variabilité totale de Y.
Permet de d’apprécier l'information disponible dans les données.
SCE est la somme des carrés expliqués. Elle indique la variation de Y
expliquée par X. on parle alors de Variabilité expliquée.
SCR est somme des carrés résiduels. Elle indique l'écart entre les valeurs
observées de Y et celles prédites par le modèle. On parle de variabilité non-
expliquée.

MCO (Régression avec constante)
• Meilleur des cas.
SCR = 0 et donc SCT = SCE.
les variations de Y sont complètement expliquées par celles de X.
On a un modèle parfait.
La droite de régression passe exactement par tous les points du
nuage, puisque ‫ݕ‬ො௜ ൌ ‫ݕ‬௜.
• Pire Cas.
SCE= 0:
X n'apporte aucune information sur Y. Ainsi, ‫ݕ‬ො௜ ൌ ‫ݕ‬ത.
Ainsi, la meilleure prédiction de Y est sa propre moyenne.

MCO (avec constante) Coefficient de
détermination R
Le coefficient ࡾ૛
est un indicateur de synthèse.
Il est défini par ܴଶ
ൌ
ௌ஼ா
ௌ஼்
ൌ 1 െ
ௌ஼ோ
ௌ஼்
.
Il indique la proportion de variance de Y expliquée par le modèle.
Le coefficient R est compris entre 0 et 1
Plus il sera proche de la valeur 1, meilleur sera le modèle.
Ainsi, la connaissance des valeurs de X permet de prédire avec
davantage de précision la valeur de Y.
ܴଶ
proche de 0 indique que X n'apporte pas d'informations utiles
(intéressantes) sur Y ; la connaissance des valeurs de X ne nous dit
rien sur celles de Y.

MCO : Coefficient de corrélation linéaire
multiple
Il est noté R
Il est défini par R ൌ ܴଶ.
• Pour la régression simple (uniquement), on montre qu'il
est égal (au signe près) au coefficient de corrélation ‫ݎ‬௬௫ de
Pearson : ‫ݎ‬௬௫ୀ௦௜௚௡௘ ௔ො ൈோ.

Hypothèses
• Ces hypothèses ont un impact sur les propriétés des
estimateurs (biais, convergence) et l'inférence statistique
(distribution des coefficients estimés).
• H1 : Hypothèses sur Y et X.
X et Y sont des grandeurs numériques mesurées sans erreur.
X est une donnée exogène supposée non aléatoire.
Y est aléatoire par l'intermédiaire de ߝ.
• H2 : Hypothèses sur ࢿ.
Les ߝ௜ sont indépendants et identiquement distribués.

Hypothèses 2
• H2.1 E(ߝ௜) = 0, en moyenne les erreurs s'annulent, donc
le modèle est bien spécifié.
• H2.2 hypothèse d'homoscédasticité :
V (ߝ௜) =ߪఌ
ଶ () : la variance de l'erreur est constante (ne dépend pas
de l'observation).
La variance du bruit (erreur) ne doit dépendre ni des valeurs de la
variable à expliquer, ni des valeurs des variables explicatives
• H2.3 L'erreur est indépendante de la variable exogène,
ainsi COV (‫ݔ‬௜, ߝ௜) = 0.

Hypothèses 3
• H2.4 Indépendance des erreurs.
Les erreurs de 2 observations sont indépendantes :
COV(ߝ௜, ߝ௝) = 0 ; donc "non auto-corrélation des erreurs".
Le bruit doit être un «vrai» bruit (pas de structure de
corrélation évidente)
• H2.5 Hypothèse de normalité : ߝ௜ ≡ N(0; ߪఌ).
Primordiale pour l'inférence statistique.

Hypothèse pour la validation du modèle
(rappel et synthèse)
• Le modèle de la régression linéaire simple suppose que :
1. Modèle bien spécifié :
En moyenne les erreurs s’annulent i.e. ࡱ ࢿ࢏ ൌ ૙, ࢏ ൌ ૚. . ࢔
2. Homoscédasticité :
La variance des erreurs est une constante i.e. ࢂ ࢿ࢏ ൌ ࣌૛
, ࢏ ൌ ૚ … ࢔
3. Indépendance des observations :
Les erreurs ne dépend pas du variable explicative.
࢏. ࢋ. ࡯ࡻࢂ ࢞࢏, ࢿ࢏ ൌ ૙, ࢏ ൌ ૚ … ࢔
4. Non auto-corrélation des erreurs
Les erreurs relatives à deux observations sont indépendantes
࢏. ࢋ. ۱‫܄۽‬ ઽܑ, ઽܑ ൌ ૙, ܑ, ‫ܒ‬ ൌ ૚ … ‫ܑ ܜ܍ ܖ‬ ് ‫ ܒ‬
5. Normalité des erreurs
Les erreurs sont issues d’une loi gaussienne
i.e. ࢿ࢏ ≡ ࡺ ૙, ࣌૛ , ࢏ ൌ ૚. . ࢔

Hétéroscédasticité des erreurs
• Dans ce cas, les erreurs dépendent du variable
explicative.
• Les conséquences sont :
Estimateur sans bais.
Estimateur n’est plus à variance minimale
• Les causes peuvent être :
Les moyennes des observations sont obtenues à partir de
différents échantillons.
L’association de la même valeur de la variable à expliquer aux
différentes valeurs de la variable explicative.
Certaines valeurs de la variable explicative sont entachées
d’erreur.

Auto-corrélation des erreurs
• Les conséquences sont :
Estimateur sans bais.
Estimateur n’est plus à variance minimale.
• Les causes d’auto-corrélation peuvent être :
Absence d’une variable explicative importante.
Modèle linéaire n’est pas adapté.
Lissage par moyenne mobile ou par interpolation.

Hypothèse Homoscédasticité
• Pour vérifier l’hypothèse d’homoscédasticité, on peut tracer
le graphe ‫ݔ‬௜, ‫ܧ‬௜ ‫ ݑ݋‬ ܻ෠௜, ‫ܧ‬௜ .
• 3 cas possibles
La variance se comporte comme un vrai bruit : hypothèse vérifiée .
La variance augmente en fonction de ‫ݔ‬௜ ou ܻ෠௜ : hypothèse non vérifiée.
Une structure ”particulière” du nuage de points du graphe des résidus :
hypothèse non vérifiée.

Hypothèse de normalité
• Pour tester la normalité des résidus, on peut utiliser :
Un histogramme.
Un graphique de probabilité normal des résidus.
Un test de normalité (Shapiro-Wilk, Anderson-Darling, Kolmogorov-
Smirnov) dans le cas ou le nombre d’observations est assez important.

Hypothèse de Non auto-corrélation
• On peut tester la non auto-corrélation des résidus en:
Traçant le graphique des résidus, la présence d’une structure
particulière ou une courbe montre que les résidus contiennent des
informations du modèle i.e. le modèle est inapproprié.
Réalisant le test non paramétrique de Durbin-Watson

Évaluation des estimateurs.
• 2 propriétés importantes lors l'évaluation d'un estimateur
ߠ෠.
L’estimateur est-il sans biais, c.-à-d. en moyenne,
obtenons-nous la vraie valeur du paramètre ?
‫ܧ‬ ߠ෠ ൌ ߠ ?
L’estimateur est-il convergent, c.-à-d. à mesure que la
taille de l'échantillon augmente, l'estimation devient-elle
de plus en plus précise ?

Évaluation des estimateurs
Biais de ߚଵ
෢ et ߚ଴
෢.
Pour la méthode MCO,ߚଵ
෢et ߚ଴
෢ sont sans biais, si et seulement si :
1. (H1) L'exogène X n'est pas stochastique (X est non aléatoire) ;
2. (H2.1) ‫ܧ‬ሺߝ௜ሻ = 0, l'espérance de l'erreur est nulle.
Ainsi sous ces hypothèses, nous avons : ‫ܧ‬ሺߚଵ
෢ሻ ൌ ߚଵet ‫ܧ‬ሺߚ଴
෢ሻ ൌ ߚ଴.

Convergence.
L'estimation devient-elle de plus en plus précise quand la taille de
l’échantillon augmente ?
• 1. Un estimateur ߠ෠ sans biais de ߠ est convergent si et
seulement si ܸሺߠ෠ሻ
௡→ஶ
0.
ܸ ߚଵ
෢ ൌ ‫ܧ‬ሺߚଵ
෢ െ ߚଵሻଶ.

Convergence : Rappel des hypothèses.
H2.2, (homoscédasticité) : la variance de l’erreur est constante, i.e. ‫ܧ‬ ߝ௜
ଶ
ൌ ܸ ߳௜ ൌ ߪఌ
ଶ
H2.4 (non autocorrélation des erreurs) : ‫ܸܱܥ‬ ߝ௜ߝ௝ ൌ ‫ܧ‬ ߝ௜ߝ௝ ൌ 0.
• Sous les hypthèses H2.2 et H2.4 :
ܸሺߚଵሻ෢ ൌ
ఙഄ
మ
∑ ሺ௫೔ି௫̅ሻమ
೔
et ܸሺߚ଴ሻ෢ ൌ ߪఌ
ଶ
ሾ
ଵ
௡
൅
௫̅
∑ ௫೔ି௫̅
మ
೔
ሿ
Consequence :
ߚଵ
෢ est un estimateur convergent de a, puisque ܸሺߚଵ
෢) tend vers l’infini pour des
échantillons de grande taille.
ߚ଴ ෢ est un estimateur convergent de ߚ଴.

Bilan des formules de la variance:
• Une faible variance de l'erreur implique que la régression est de bonne
qualité.
• Une forte dispersion des X implique que les points recouvrent bien l'espace
de représentation.
• Le nombre d'observations n est élevé.

Commande R : analyse du modèle
• model <- lm(formula=y~x) data=donnee.csv) :
établir un modèle de régression linéaire simple, x est le prédicteur et y
est la variable à expliquer.
• Names(model)
[1] "coefficients" "residuals" "effects" "rank“
[5] "fitted.values" "assign" "qr" "df.residual"
[9] "xlevels" "call" "terms" "model"
• model$coef : le vecteur ߚመ ሺ ߚ଴, ߚଵሻ
• model$res : le vecteur résidus ‫ܧ‬ ൌ ܻ െ ܻ෠
• model$fitted : le vecteur estimé ܻ෠
• model$df.residual : le nombre des dll des résidus

Test de significativité
• Objectif:
• Répondre à la question :
La régression est-elle globalement significative ?
Ou encore la variable X emmène-t-elle significativement de
l'information sur Y , permettant de construire une relation linéaire
réelle dans la population?

Test de significativité (1)
• ANOVA (Analysis Of Variance).
comparer (analyser) les variances, pour tester la significativité
statistique entre des moyennes.
F =
ࡿ࡯ࡾ
ࡿ࡯ࡱ
࢔ష૛
désigne l’équivalent du F-ratio de l’ANOVA.
F =
࣑૛ሺ૚ሻ
૚
࣑૛ሺ࢔ష૛ሻ
࢔ష૛
ൌ ࣠ሺ૚, ࢔ െ ૛ሻ, sous l’hypothèse H0. F suit donc une loi
de Fisher.

Test de significativité (2)
• Région critique, R.C, du test
RC est La règle de décision au risque ࢻ.
RC correspond au rejet de H0.
RC au risque ࢻ est définie pour les valeurs anormalement élevées
de F, i.e. R.C. : ࡲ ൐ ऐ૚ିࢻሺ૚, ࢔ െ ૛ሻ
• Soit ߙᇱ la p-value, i.e. la probabilité que la loi de Fisher dépasse la
statistique calculée F ; ߙᇱ est aussi appelée probabilité critique.
Alors, la règle de décision au risque ࢻ devient :
R.C. : ߙᇱ
൏ ߙ

Intervalle de confiance : intérêt
• L'intervalle de confiance permet d'encadrer un indicateur (
moyenne, variance, etc.) avec une probabilité associée.
• On dit que l’intervalle de confiance I est associé à l’indicateur
rho avec une probabilité alpha si :
(1 - alpha)% des indicateurs rho calculés sont contenu dans
l’intervalle de confiance I
alpha% des indicateurs rho calculés à travers les expériences
réalisées ne se trouvent pas dans l’intervalle de confiance I.
• Réduire le risque -diminuer la valeur de alpha- ne fait que
augmenter l'amplitude de l intervalle de confiance.
• Un compromis entre la qualité de l’intervalle et le niveau de
risque consiste à prendre alpha = 0.05

Intervalle de confiance : résultats (1)
• Resultat 1 : la statistique
ࢼ૙
෢ି ࢼ૙
ࡿ࡯ࡱࡾ
࢔ష૛

૚
࢔
ା
ࢄഥ૛
ࡿࢄ
suit une loi de
Student à n - 2 degrés de liberté.
• Resultat 2 : la statistique
ࢼ૚
෢ି ࢼ૚
ࡿ࡯ࡱࡾ
࢔ష૛ ࡿࢄ
ൗ
suit une loi de
Student à n – 2 degrés de liberté.

Intervalle de confiance : resultats(2)
• Résultat 3 : un intervalle de confiance de ߚ௝ ‫݆ ݎݑ݋݌‬ ൌ 1,2
est donné par :
ߚ௝ െ ‫ݐ‬ ௡ିଶ ଵିఈ
ଶൗ ఙෝഁೕ
ߚ௝ ൅ ‫ݐ‬ ௡ିଶ ଵିఈ
ଶൗ ఙෝഁೕ
Où ‫ݐ‬ ௡ିଶ ଵିഀ
మ⁄ ఙෝഁೕ
désigne la fractile de niveau 1 െ ఈ
ଶ⁄ du loi de
Student ‫ݐ‬௡ିଶ ( à n – 2 degrés de liberté)
Avec
• ߪොఉభ
ଶ
ൌ ߪොଶ ∑ ௑೔
మ
௡ ∑ ௑೔ି ௑ത మ
• ߪොఉమ
ଶ
ൌ
ఙෝమ
∑ ௑೔ି ௑ത మ

Formules mathématiques (1)
݊ Nombre d’observations
‫݌‬ Nombre de variables
ܺത ∑ ܺ௜
௡
௜ୀଵ
݊ൗ
ܵ௑௒
෍ሺܺ௜ܻ௜ െ ܺതܻሻ
ߚଵ ܵ௑௒
ܵ௑௑
ߚ଴ ܻത െ ߚଵܺത
ܻ෠௜ ߚመ଴ ൅ ߚመଵ ܺ௜
‫ܧ‬௜ ܻ෠௜ െ ܻ௜

ܵ‫ܧܥ‬ோ
෍ሺܻ௜ െ ܻതሻଶ
ܵ‫ܧܥ‬ெ
෍ሺܻ෠௜ െ ܻതሻଶ ൌ
ܵ௑௒
ଶ
ܵ௑௑
൘
ܵ‫ܧܥ‬௧ ܵ‫ܧܥ‬ோ ൅ ܵ‫ܧܥ‬ெ
ܴଶ
ܵ‫ܧܥ‬ெ
ܵ‫ܧܥ‬௧
ܴଶ
௔௝௨௦௧é
1 െ
݊ െ 1
݊ െ ‫݌‬
ܴଶ
‫ܨ‬௢௕௦ ݊ െ ‫݌‬ െ 1
‫݌‬

ܵ‫ܧܥ‬ெ
ܵ‫ܧܥ‬ோ

‫ܯܥ‬ோ ܵ‫ܧܥ‬ோ
‫݌‬ൗ
‫ܯܥ‬ெ ܵ‫ܧܥ‬ெ
݊ െ ‫݌‬ െ 1ൗ
ߪොఉభ
ଶ
ߪොଶ
∑ ܺ௜
ଶ
݊ ∑ ܺ௜ െ ܺത ଶ
ߪොఉమ
ଶ
ߪොଶ
∑ ܺ௜ െ ܺത ଶ
‫ܥܫ‬ ߚ௝
݆ ൌ 1,2
ߚ௝ െ ‫ݐ‬ ௡ିଶ ଵିఈ
ଶൗ ఙෝഁೕ
ߚ௝ ൅ ‫ݐ‬ ௡ିଶ ଵିఈ
ଶൗ ఙෝഁೕ

Commande R : analyse de la variance
• anVar <- anova(model)
Donne l’analyse de la variance
• names(anVar) :
[1] "Df" "Sum Sq" "Mean Sq" "F value" "Pr(>F)"
• anVar$Df : vecteur de dll
• anVar$ "Sum Sq" : vecteur ‫ܯܥ‬ெ , ‫ܯܥ‬ோ
• anVar$”F value” : donne ‫ܨ‬௢௕௦
• anvar$"Pr(>F)" : donne la probabilité critique (p-value)

Commande R : Vérification des
hypothèses
• rstudent(model) : résidus studentarisée
• acf(model) : graphe d’autocorrelation des résidus
• qqnorm(model$res) : normal Q-Q plot
• plot(model$fitted,rstudent(model)) : graphe pour
identifier les points qui sont hors l’intervalle [-2,2]
• hist(resid(model)) : histogramme des résidus

Modèle de la régression simple
ߚመ
‫ܨ‬௢௕௦
ܴଶ
ܴଶ
௔௝௨௦௧é
݁ܿܽ‫ݐݎ‬ െ ‫݁݌ݕݐ‬ሺ ܻ െ ܻ෠
ଶ
ሻ
dll
Statistique de test
Probabilité critique

Analyse de la variance
dll Vecteur ‫ܯܥ‬ெ , ‫ܯܥ‬ோ ‫ܨ‬௢௕௦ Probabilité critique

Loi t student t : définition
• Soit la variable t définie par :
‫ݐ‬ ൌ
ܼ
ܷ
݇ൗ
avec Z une variable aléatoire de loi normal, centrée et réduite
U une variable indépendant de Z de loi ࢄ૛à k degré de liberté (ddl)
Par définition on dit que la variable t suit une loi de Student à k
degrés de liberté (dll).
Sa densité est : ݂௧ ‫ݔ‬ ൌ
ଵ
௞ గ

ఊሺ
ೖశభ
మ
ሻ
ఊሺ
ೖ
మ
ሻ
ሺ1 ൅
௫మ
௞
ሻି
ೖశభ
మ ‫݇ ݎݑ݋݌‬ ൐
0
Ou ߛ est la fonction Gamme d’Euler

Loi student t : propriétés
• La densité ݂௧ -associée à t est :
symétrique ( ݂ ௧ ‫ݔ‬ ൌ ݂௧ሺെ‫ݔ‬ሻ ሻ
son espérance est égale à 0 pour k > 1 et non définit pour k = 1
Sa variance est égale k/k-1 pour k > 2 et infinie pour k =1 et non
définie pour k=1
Résultat : pour k dll assez grand, la loi de Student converge vers la
loi normale.

Loi student t : cumul et densité

Loi student t : applications
• Conformité d'une moyenne sur un petit échantillon ( n <
30)
• Test de comparaison de moyennes de 2 petits
échantillons ( n < 30)
• Évaluation de la qualité de coefficients de régression
linéaire simple ou multiple

Loi student t : commandes R
• dt(x, df, ncp, log = FALSE)
• pt(q, df, ncp, lower.tail = TRUE, log.p = FALSE)
• qt(p, df, ncp, lower.tail = TRUE, log.p = FALSE)
• rt(n, df, ncp)

Les auteurs
• Mustapha. MICHRAFY
• Bull/Fastconnect
• Bernard KOUAKOU
• CGI inc.
Contact des auteurs :
datascience.km@gmail.com

Références
• Data Mining et statistique décisionnelle, Stéphane TUFFÉRY
• Econométrie, la régression linéaire simple et multiple, Ricco Rakotomalala,
http://eric.univ lyon2.fr/~ricco/cours/cours/econometrie_regression.pdf
• Statistiques avec R, Pierre André Cornillon, François Husson, Nicolas Jégou, Eric
Matzner Lober
•Décision et prévision statistique, Thierry Verdel et al., Groupe des écoles de mine,
http://tice.inpl nancy.fr/modules/unit stat/
• http://www.statsoft.fr/concepts statistiques/anova manova/anova
manova.htm#.VcYDqflRqy1
• https://leanpub.com/LittleInferenceBook/read

Regression simple

Contenu connexe

Tendances

En vedette

Similaire à Regression simple

Regression simple