2. CE ESTE REGRESIA?
Modelul de regresie– modelează dependenţa variabilelor complexe de un
ansamblu de factori principali şi secundari, sistematici sau aleatori, care
acţionează în acelaşi sens sau în sensuri diferite
Cauze
Funcţia Efect
Variabile
independente
f Variabila
dependentă
f(x1,x2,...,xn)=Y
3. REGRESIA – Când şi cum o utilizăm?
Regresia se foloseşte pentru:
a determina o relaţie cauzală
a testa o relaţie cauzală
a previziona o variabilă dependentă în funcţie de una
sau mai multe variabile independente
a explica efectul în funcţie de cauze
5. Specificarea unui model de regresie
Modelul liniar general de regresie unifactorială:
Y=α+β·x + ε
Componenta
predictibilă
Variabila/eroa
reaaleatoare
6. Specificarea unui model de regresie
Modelul liniar unifactorial y=1+0,5x
X
Y
1.0
1
0,5
X
Y
ε
ε
7. Specificarea unui model de regresie
Se efectuează o selecţie de volum n : (xi,yi)i=1...n
Modelul de regresie liniară observat este:
yi = a + bxi + ei
cu componenta predictibila:
ei = yi – (a + bxi)
ii bxayˆ +=
8. Estimarea parametrilor modelului de
regresie clasic
Metoda celor mai mici pătrate:
Pentru estimarea parametrilor α şi β pe baza datelor
observate =>minimizarea erorilor observate:
∑∑ −−=
i
ii
i
i bxaye 22
)(minmin
9. Estimarea parametrilor modelului de
regresie clasic
Condiţiile de ordin 1: determinarea soluţiei
Condiţia de ordin 2: soluţia găsită este un punct de minim.
Matricea derivatelor parţiale de ordin doi trebuie să fie pozitiv
definită.
⇒
=
∂
∂
=
∂
∂
∑
∑
0
)(
0
)(
2
2
b
e
a
e
i
i
i
i
+=
+=
∑∑∑
∑∑
bxaxyx
bxnay
i
i
i
i
i
ii
i
i
i
i
)()(
)(
2
10. Estimarea parametrilor modelului de
regresie clasic
−
−
==
−=
∑
∑
∑∑
∑
∑∑
∑
22
2
xnx
yxnyx
xx
xn
yxx
yn
b
xbya
i
i
i
ii
i
i
i
i
i
i
i
i
i
i
i
i
i
⇒
−
−
==
−
−
==
∑∑
∑∑∑
∑∑
∑
∑∑
∑
∑∑
∑∑∑∑
∑∑
∑
∑∑
∑∑
2
2
2
2
2
2
2
2
i
i
i
i
i
i
i
i
i
ii
i
i
i
i
i
i
i
i
i
i
i
i
i
i
i
i
i
i
ii
i
i
i
i
i
i
i
i
i
i
i
i
i
ii
i
i
i
i
i
i
xxn
yxyxn
xx
xn
yxx
yn
b
xxn
yxxxy
xx
xn
xyx
xy
a
Condiţiile de ordin 1:
11. Estimarea parametrilor modelului de
regresie clasic
Condiţia de ordin 2
Deci matricea este pozitiv definită
=
∂
∂
∂∂
∂
∂∂
∂
∂
∂
∑∑
∑
∑∑
∑∑
i
i
i
i
i
i
i
i
i
i
i
i
i
i
xx
xn
b
e
ab
e
ba
e
a
e
2
22
2222
22
22
22
22
22
)()(
)()(
⇒
>−=−
>
>
∑∑∑
∑
0)(4)(44
02
02
222
2
i
i
i
i
i
i
i
i
xxnxxn
x
n
12. Estimarea parametrilor
modelului de regresie clasic
Deci:
2
x
xy
s
s
b =
∑
∑
∑∑
∑∑
∑
∑
∑∑∑
∑∑∑
−
−−
=
−+−
−+−
=
=
−
−
=
−+−
−+−
=
i
i
i
ii
i
i
i
ii
i
i
i
ii
i
ii
i
ii
i
i
i
i
i
i
i
i
i
i
i
ii
xx
yyxx
xxxxxx
yxxyxx
xxx
yxx
xnxxxxx
yxnyxyxyx
b
2
22
)(
))((
)()(
)()(
)(
)(
13. Estimarea parametrilor
modelului de regresie clasic
sxy este covarianţa între x şi y.
Linii de regresie cu a) pantă pozitivă b) pantă negativă c) pantă egală cu zero
14. Exemplu
Directorul unui liceu dore te să vadă dacă media cu care un elev de clasa aș
noua încheie anul depinde de media de la examenul de admitere în liceul
respectiv. În acest scop el selectează aleatoriu 20 de studen i pentru careț
înregistrează media la admitere i media ob inută la sfâr itul primului am deș ț ș
studii în liceu. Rezultatele ob inute sunt:ț
Determina i dreapta de regresie ce descrie cel mai bine legătura între media deț
la examenul de admitere în liceu i media de la sfâr itul primului an de studii.ș ș
Medie
primul an 9 8.3 8.2 7.4 8 9.7 9.5 8.7 8.2 7.8 8.4 8.9 8.5 9.8 8.1 7.8 8.5 9.4 7.6 8.2
Nota la
admitere 9.1 8.3 9 7.9 8.5 9.7 9.4 8.6 8.8 7.6 8 8.9 8.3 9.2 7.8 7.4 8 9.8 8.2 7.5