slides of Ms. Kim Dung

1. MÔ HÌNH
HỒI QUY ĐA BIẾN
ThS Nguyễn Thị Kim Dung

2. Ví dụ:
Thu nhập ảnh hưởng đến chi tiêu. (+)
Địa điểm sinh sống ảnh hưởng đến chi tiêu.
Số thành viên gia đình ảnh hưởng đến chi tiêu. (+)
…
Vậy:
Chi tiêu Thu nhập, Địa điểm, Số thành viên
Chi tiêu = f (Thu nhập, Địa điểm, Số thành viên)

3. 1. MÔ HÌNH HỒI QUY
1.1 MÔ HÌNH HỒI QUY TỔNG THỂ
... (1.1)
1 2 2 3 3
        Y X X X ui ii i k ki
: heä soá töï do1
Vôùi: , ,..., : caùc heä soá hoài quy rieâng2 3
( 2,..., ):sai soá ngaãu nhieân
k
u i ki

  





 
1
2 3
'Ñaët: 1, , ,..., ; ...i i ki
k
iX X X X



 
 
   
 
 '  iY X ui i

4. 1. MÔ HÌNH HỒI QUY
1.1 MÔ HÌNH HỒI QUY TỔNG THỂ
2 3
Neáu ta coù n quan saùt, moãi quan saùt
goàm k giaù trò ( , , ,..., ),
( 1,... ) , thì ta coù heä n phöông trình:
i i i kiY X X X
i n
1 1 2 21 3 31 1 1
2 1 2 22 3 32 2 2
1 2 2 3 3
...
...
(1.2)
...
...
   
   
   
     
      


      
k k
k k
n n n k kn n
Y X X X u
Y X X X u
Y X X X u

5. 1. MÔ HÌNH HỒI QUY
1.1 MÔ HÌNH HỒI QUY TỔNG THỂ
1 1
2 2
21 31 1 1
22 32 2 2
2 3
Ñaët , ,
... ...
1 ...
1 ...
,
... ... ... ... ... ...
1 ...
n k
k
k
nn n kn
Y
Y
Y
Y
X X X u
X X X u
X u
X X X u




  
  
  
  
     
   
   
   
   
   
     
  
 
 
Daïng ma traän cuûa phöông trình (1.2):
Y X u

 

6. 1. MÔ HÌNH HỒI QUY
1.2 MÔ HÌNH HỒI QUY MẪU
1 2 2 3 3
1 2 2 3 3
ˆ ˆ ˆ ˆˆ ...
ˆ ˆ ˆ ˆ...
   
   
    
     
i i i k ki
i i i k ki i
Y X X X
Y X X X e
ˆ goïi laø phaàn dö i i ie Y Y

7. 1. MÔ HÌNH HỒI QUY
1.2 MÔ HÌNH HỒI QUY MẪU
Dạng ma trận của phương trình:
ˆ Y X e
2 3
Neáu ta coù n quan saùt, moãi quan saùt goàm
k giaù trò ( , , ,..., ),( 1,... ). Ta ñaët:i i i kiY X X X i n
11 21 31 1 1
22 32 2 22 2
2 3
ˆˆ 1 ...
ˆˆ 1 ...ˆˆ , , ,
... ... ... ... ... ...... ...
1 ...ˆ ˆ




      
      
               
      
          
k
k
n n kn n
n k
Y X X X e
X X X eY
Y X e
X X X eY
Dạng ma trận của mô hình:
ˆˆ Y X

8. 2. PHƯƠNG PHÁP BÌNH PHƯƠNG
NHỎ NHẤT ( OLS )
• Ta có mô hình hồi quy mẫu là
• Ta cần tìm sao cho nó gần với giá trị
thực Yi nhất, tức là phần dư
càng nhỏ càng tốt
2.1. Nội dung phương pháp bình
phương nhỏ nhất
ˆ
iY
 i i ie Y Y
ˆ Y X e

9. Tìm sao choˆ
iY 2
1
min


n
i
i
e
   
   
22
1 2 2
1 1
ˆ ˆ ˆˆ ... min
ˆ min 1,...,
  
 
 
       
  
 
n n
i i i i k ki
i i
j
Y Y Y X X
j k
min 1 2
ˆ ˆ ˆ, ,...,  k
1 2
ˆ ˆ ˆ, ,...,  k
'
ˆ 0
1,2,...,

 

 
j
j k
là nghiệm của hệ sau:
Nghĩa là cần tìm sao cho

10. 10
 
 
   
1
22
1 2
1
... .
...


 

   
 
 
   
 
 
 

  

n
i n
i
n
T
T
e Y Y Y X
e
e
e e e e
e
e e
Y X Y X
Theo dạng ma trận, ta có:

11. 11
 
 .
  

T T T
T T T
A B A B
A B B A
Nhớ lại tính chất ma trận:
   
 
  
 
   
   
    
 
   
T
TT T
T TT T T T
Y X Y X
Y X Y X
Y Y Y X X Y X X

12. 12
Nhận xét:
       
     
1 n×k
n×1
1×k
1 1
1 1
n k 1
k×n
 
 
 


 
   
 
T T
T TT T
Y X Y X
X Y X Y
Mà:   
T TT T
Y X X Y
  
TT T
Y X X Y
2      
T TT T T
Y Y X Y X X

13. 13
min 
   
'
1
0
2 2 0







   
 
 
T T
T T
T T
X Y X X
X Y X X
X X X Y Vì Y=AX  X=A-1 Y

14. • Các ước lượng của hồi quy đa biến có đầy
đủ các tính chất của ước lượng hồi quy
đơn biến
2.2. Các tính chất của hàm hồi quy mẫu
(SRF) tìm được bằng phương pháp OLS
14

15.    
22
2
1 1 1  
      
n n n
i i i
i i i
Y Y Y Y e
ˆ
ˆ
 
    
i i i
i i i
Y Y e
Y Y Y Y e
3. ĐO LƯỜNG MỨC ĐỘ PHÙ HỢP CỦA
ƯỚC LƯỢNG THEO OLS
Tổng dao
động của Y
so với giá trị
trung bình
Dao động
được giải
thích bởi mô
hình
Dao động
chưa được
giải thích bởi
mô hình –
sai số
3.1. Hệ số xác định

16.  TSS ESS RSS
TSS= Total sum of square
= Residual sum of square 
2
1
RSS

 
n
i
i
e
= Explained sum of square
2
1  
ESS RSS
R
TSS TSS
Đặt
2
0 1 R
    
22 2
1 2ESS ...     i i i kiY Y X X X X

17. Nhận xét:
Khi thêm biến vào mô hình thì k tăng.
TSS không phụ thuộc k nên không đổi,
ESS phụ thuộc k nên tăng RSS giảm  R2 tăng
Vậy cứ thêm biến vào mô hình thì R2 tăng, do đó
không thể dùng R2 để xem xét việc có nên đưa thêm
biến vào mô hình không.
2
1  
ESS RSS
R
TSS TSS

18. Đặt
3.2. Hệ số xác định hiệu chỉnh
 
 
 2 2/ 1
1 1 1
/ 1
 
    
 
RSS n k n
R R
TSS n n k
Nhận xét:
Khi thêm biến giải thích vào mô hình thì k tăng
• TSS và (n – 1) không bị ảnh hưởng bởi k
• (n – k) giảm
• Khi thêm biến có ý nghĩa vào mô hình thì RSS (sai số)
giảm
• Khi thêm biến không có ý nghĩa vào mô hình thì RSS
(sai số) không giảm hoặc giảm ít

19. 2 2 2 2
, taêng chaäm hôn R R R R
• Nếu R2 đủ nhỏ, có thể mang giá trị âm
2
R
• Vậy khi thêm biến vào mô hình, nếu biến này có ý
nghĩa thì tăng, ngược lại, không tăng. Do đó ta
chỉ thêm biến vào mô hình khi nào còn tăng
2
R 2
R
2
R

20. Ý nghĩa thực hành của hệ số xác định hiệu chỉnh
Khi ta thêm càng nhiều biến vào mô hình thì R2 tăng 
ta sẽ đưa quá nhiều biến vào mô hình ( kể cả các biến
không cần thiết ).
Để tránh hiện tượng này, ta dùng hệ số xác định hiệu
chỉnh, vì khi thêm biến vào mô hình, có thể tăng hoặc
không tăng.
Vậy được dùng để xác định xem có nên thêm 1
biến mới vào mô hình hay không.
( Với cùng 1 bộ số liệu, khi thêm 1 biến mới vào mô
hình thì mô hình nào có hệ số lớn hơn được xem là
tốt hơn )
2
R
2
R
2
R

21. 4. BẢN CHẤT THỐNG KÊ CỦA MÔ HÌNH
HỒI QUY ĐA BIẾN
Tương tự hồi quy đơn biến, ta có:
1
ˆ 

  
n
ik k ki
i
C U
phụ thuộc vào yếu tố ngẫu nhiên Ui , nên
cũng là 1 yếu tố ngẫu nhiên
ˆk
ˆk

22. 4.1. GIẢ ĐỊNH CỦA CÁC YẾU TỐ NGẪU NHIÊN
• Với các giả thiết sau đây thì các
ước lượng tìm được bằng PP
OLS sẽ là các ước lượng tuyến
tính, không chệch, có phương
sai nhỏ nhất.
Định lý Gauss-Markov

23. Giả thiết A1:   0 iE U i
Giả thiết A2:   2
Var  iU i
Giả thiết A3:  2
N 0, iU i
iid
Giả thiết A4: E( Yi/ X’i )= X’i i
Giả thiết A5: độc lập
tuyến tính
2 3( , ,..., )kX X X

24. 4.2 ĐẶC TRƯNG THỐNG KÊ CỦA ƯỚC
LƯỢNG OLS
 ˆ k kE
1
ˆTa có:  

  
n
ik k ki
i
C U
   
 
1 1
1
ˆ
0(A1)
  
 
 

   
      
   
  

 

k k
k ki i k
n n
i ik ki ki
i i
n
i
E E C U E E C U
C E U

25.  
2
ˆVar

 k
kkS
     
   
 2
3
2
2
2
1 1
2
1
ˆ ˆ ˆ ˆVar Var Var
Va
A
Var Ar
    


 

   
 
  
 


 

k k k k k
ki i i
kk
n n
ki
i i
n
ki
i
E
C U C U
C
S

26. 2
ˆ ,

 
 
   
 
k k
kk
N
S

27. 5. ƯỚC LƯỢNG VÀ KIỂM ĐỊNH GIẢ THIẾT CÁC
HỆ SỐ HỒI QUY
5.1. KHOẢNG TIN CẬY
  ˆ ˆTa có: ,Var 1,...,    i i iN i k
 
 
ˆ
ˆ
 


i i
i
T n k
Se
- t(n-k)
 /2 0 t(n-k)
/2
/2/2
1 -

28. - t(n-k)
 /2 0 t(n-k)
/2
/2/2
1 -
 
( ) ( )
/2 /2
ˆ
1
ˆ 
 


 
 
     
 
 
i i
i
n k n k
P t t
Se
   
( ) ( )
/2 /2
ˆ ˆ ˆ ˆ 1
 
     
        
 
i i i i i
n k n k
P t Se t Se

29. - t(n-k)
 /2 0 t(n-k)
/2
/2/2
1 -
 
( )
/2
ˆ ˆ 1
vaäy :
vôùi do tin caäy

   
    
 
i i i
n k
t Se

30. 5.2. KIỂM ĐỊNH GIẢ THUYẾT
 
*ˆ
ˆ
 



 i i
n k
i
t t
se
( ) ( )
/2 /2
1
 

       
 
n k n k
P t t t
 : mức ý nghĩa
- t(n-k)
 /2 0 t(n-k)
/2
/2/2
1 -

31. 31
Kiểm định hai
bên
Kiểm định bên
trái
Kiểm định bên
phải
- t/2
(n-k) t/2
(n-k)
/2
1 -
/2
t(n-k)

1 -
- t(n-k)

1 -
*
0
*
1
:
:
 
 
 


i i
i i
H
H
*
0
*
1
:
:
 
 
 


i i
i i
H
H
*
0
*
1
:
:
 
 
 


i i
i i
H
H
 
*ˆ
ˆ
 


 i i
i
t
se

32. 32
Kiểm định hai
bên
Kiểm định bên
trái
Kiểm định bên
phải
Bác bỏ Ho khi:
|t0|>t/2
(n-k)
Bác bỏ Ho khi:
t0 < -t
(n-k)
Bác bỏ Ho khi:
t0 > t
(n-k)
*
0
*
1
:
:
 
 
 


i i
i i
H
H
*
0
*
1
:
:
 
 
 


i i
i i
H
H
*
0
*
1
:
:
 
 
 


i i
i i
H
H
 
*ˆ
ˆ
 


 i i
i
t
se

33. P-VALUE
33
t
(n-k)

t0
P-value
P-value = P(| t(n-k) |  |t|)

34. P-VALUE
34
- t/2 t/2
/2/2
-t t
P-value/2P-value/2
P-value = P(| t(n-k) |  |t|)

35. Quy luật dùng P-value:
P-value <   Bác bỏ Ho
P-value    Chấp nhận Ho

36. 5.3. KIỂM ĐỊNH SỰ PHÙ HỢP CỦA HÀM HỒI QUY
Kiểm định giả thiết
2
0
2
1
H : 0
H : 0
R
R
 


 
 
ESS/ 1
( 1, )
/
k
F F k n k
RSS n k

  

B1: Tính
 
  
 
2
2
1 1
Tra baûng tìm 1, (phuï luïc 4)
R n k
F
R k
F k n k


 
 
B2: Kết luận: Bác bỏ H0 nếu  1,F F k n k  

37. 5.4. KIỂM ĐỊNH HỒI QUY CÓ ĐIỀU KIỆN
( KIỂM ĐỊNH GIẢ THIẾT ĐỒNG THỜI)
...
1 2 2 3 3
( )        Y X X X ui ii i ki
U
k
Nếu bỏ đi m biến thì mô hình (U) trở thành:
... (
1 2 2 3
)
3 ( )
        
 
Y X X X ui ii i k m k m
R
i
Vậy mô hình (R) chính là mô hình (U) với điều kiện
Việc lựa chọn mô hình nào, (U) hay (R), chính là thực
hiện kiểm định
... 0
1 1
     
  k k k m
0
1
: ... 0
1 1
: 0
  

      

  i
k
H
k k m
H

38. Nếu Ho sai, nghĩa là m biến giải thích này thật sự có
ảnh hưởng đến Y thì RSSU < RSSR
Vậy nếu ( RSSR – RSSU ) lớn thì ta sẽ bác bỏ Ho
Phương pháp kiểm định:
 
 
/
( , )
/
R U
U
RSS RSS m
F F m n k
RSS n k


  

 
   
2 2
2
/
( , )
1 /
U R
U
R R m
F F m n k
R n k


   
 
Nếu F > F(m,n-k) thì bác bỏ Ho