Hàm hồi quy đa biến

Hàm hồi quy đa biến

n Ý nghĩa của hệsốhồi quy

n Giảđịnh

1. Mô hình hồi qui tuyến tính

2. Giá trịkì vọng của biến sốngẫu nhiên=0

3. Phương sai của biến sốngẫu nhiên khôngđổi (Homoscedasticity

)

4. Không có hiện tượng tựtương quan giữa các biến sốngẫu nhiên

5. Không có tương quan giữa ui và Xi

6. Sốquan sát phải lớn hơn sốlượng tham số

7. Mô hình hồi qui được giảđịnh là chính xác

8. Không có tương quan tuyến tính chính xác giữa các biếnđộc lập

9. Biếnđộc lập Xi phải có sựbiến thiên

i i i

i X X u

Y =

β

1+

β

2 2 +

β

3 3 +

TS Nguyễn Minh Đức 2009 n Phương pháp bình phương tối thiểu

i ki i k

i

i X X X e

Y

= β

ˆ

+ β

ˆ

+ β

ˆ

+

...

+ β

^ˆ

+

3 3 2 2 1

( )

²

1

3 3 2 2 1 1

2

∑

ˆ ˆ ˆ ... ˆ

∑

=

=

−

−

−

−

−

= ⁿ

i

ki k i

i i

n

i

i Y X X X

e β β β β

( )

( )

(

^{ˆ ˆ ˆ ... ˆ}

)

⁰

2 ...

ˆ 0 ˆ ...

ˆ 2 ˆ

ˆ 0 ˆ ...

ˆ 2 ˆ

1

, ,

3 3 , 2 2 1 1

2

, 2 1

, ,

3 3 , 2 2 1 2

1 2

1

, ,

3 3 , 2 2 1 1

1 2

=

−

−

−

−

−

−

∂ =

∂

=

−

−

−

−

−

−

∂ =

∂

=

−

−

−

−

−

−

∂ =

∂

∑ ∑

∑ ∑

∑ ∑

=

=

=

=

=

=

ki n

i

i K K i

i i

k n

i i

i n

i

i K K i

i i

n

i i

n

i

i K K i

i i

n

i i

X X X

X Y

e

X X X

X Y

e

X X

X Y

e

β β

β β β

β β

β β β

β β

β β β

n Kết quả:

3 3 2 2

1 Y ˆ X ˆ X

ˆ

= − β − β

β

n 2

1 i

i , 3 i , 2 n

1 i

2 n

1 i

2

n

1 i

i , 3 i , 2 n

1 i

i , 3 i n

1 i

2 n

1 i

i , 2 i 2

x x x

x

x x x

y x

x y ˆ

i , 3 i

, 2

i , 3



 



−





 







 







 







 



−





 







 





= β

∑

∑

∑

∑

∑

∑

∑

=

=

=

=

=

=

=

n 2

1 i

i , 3 i , 2 n

1 i

2 n

1 i

2

n

1 i

i , 3 i , 2 n

1 i

i , 2 i n

1 i

2 n

1 i

i , 3 i 3

x x x

x

x x x

y x

x y ˆ

i , 3 i

, 2

i , 2

 

 



− 

 

 



 



 





 

 



 



 



− 

 

 



 



 





= β

∑

∑

∑

∑

∑

∑

∑

=

=

=

=

=

=

=

TS Nguyễn Minh Đức 2009

TSS 1 RSS TSS R² = ESS= −

k n

1 ) n R 1 ( 1

R

^{2 2}

−

− −

− v =

Phân phối củaước lượng tham số

) var(

) (

^

^

k

se βk = β





 



 



 



= 

∑

∑

∑

=

=

= n

1 i

2 i , 3 n

1 i

2 i , 2 n

1 i

i , 3 i , 2 X

X

x x

x x r₂₃

( )

n 2 ²

1 i

i , 3 i , 2 n

1 i

2 i , 3 n

1 i

2 i , 2

n

1 i

2 i , 3 2

x x x

x

x

varˆ σ



 



−



 







 



= β

∑

∑

∑

∑

=

=

=

=

Quan hệgiữa R²và F

) ( ) 1 (

) 1 ( ) 1 )(

1 (

) ( ) (

) 1 SS(

2 2

2 2

k n R

k R R k

R k n k n RSS

k E F

− −

= −

−

−

= −

−

= −

( ) ( )

2 2 23 n

1 i

2 i , 2 2

r 1 x ˆ 1

var σ

−

=

β

∑

=

Nếu r²₂₃ = 0, phương sai của hệsố ước lượngβ2 của hàm hồi quyđa biến và hồi quyđơn là giống nhau

Nếu X₂và X₃có tương quan tuyến tính hoàn hảo thì r²₂₃=1, phương sai của hệsố ước lượngβ₂vô cùng lớn

Nếu X₂và X₃tương quan tuyến tính cao, nhưng không hoàn hảo thì hệsố ước lượngβ₂là không chệch nhưng không hiệu quả

2

1 3 2 1

2 3 1

2 2

1 3 2 1

3 1

2 3 1

2 2

ˆ2



 



−



 







 









 







 



−





 







 



 +

=

∑

∑

∑

∑

∑

∑

∑

=

=

=

=

=

=

=

n

i i i n

i i n

i i

n

i i i n

i i i n

i i n

i i i

x x x

x

x x x x

x ε

ε β β

TS Nguyễn Minh Đức 2009

Không chệch

2

^ 2

)

( β = β

E

Khi thay đổi của giá trịbiến hồi qui càng lớn so với giá trị trung bình của nó thì phương sai hệsố ước lượng càng nhỏ, tham số ước lượng càng chính xác.

Thông thường biếnđổi của biến hồi qui càng lớn khi cỡmẫu (sốquan sát) của chuỗi dữliệu càng lớn.

Cóthểgiải thíchđiều này bằngđồthịhàm mậtđộxác xuất.

Nhưvậy sốquan sát nào làđủlớn cho một bộdữliệu?

Kiểm định mức ý nghĩa chung của mô hình H₀: β₂= β₃= β₄… = β_k= 0 hay R²=0

H₁: Không phải tất cảcác hệsốđồng thời =0

F* > F (k-1,n-k,α) thì bác bỏH₀

F* ≤F (k-1,n-k,α) thì không thểbác bỏH₀

) , 1 2 (

2

) ~ 1 )(

1 (

) ( k)

- SS(n

1) - SS(k

k n

Fk

k R

k n R R

E

F − − − −

= −

=

TS Nguyễn Minh Đức 2009

Kiểm định giảthuyết vềhệsốhồi quy

) (

~ ) (

^

^

^

*

t n k

se t

k k

k

− −

= β

β β

Kiểm định giảthuyết vềphương sai của sai số

ˆ ) ( e . s ˆ t

ˆ ) ( e . s ˆ t

m ) 2 / 1 , k n ( m m m ) 2 / 1 , k n (

m

− β ≤ β ≤ β + β

β

_{− −α − −α}

Ước lượng phương sai của sai số

k n

e s

n

1 i

2 i 2

= ∑ −

ε =

s

2_ε ^làước lượng không chệch củaσ², hay ^E

( )

^s2ε ^=σ2

2 0

2 δ

δ ≠

H₀: H₁:

2 0

^ 2

2 ( )

δ χ

o ^{n k}

δ

= −

χ

_α²_/2(n−k) ^p

χ

_o^{2 p}

χ

₁²_−α/2(n−k)

2 0

2 δ

δ =

Kiểmđịnh Wald (U)

(R)

H₀: β_m=…= β_k-1=0 H₁: có ít nhất mộtβ_j≠0

u X X

X X

X

Y = β

0

+ β

1 1

+ β

2 2

+ .... + β

_m−1 _m−1

+ β

_{m m}

+ ... + β

_k−1 _k−1

+

v

X X

X

Y

= β

₀

+ β

_{1 1}

+ β

_{2 2}

+

....

+ β

_{m−1 m−1}

+

TS Nguyễn Minh Đức 2009

n Hồi quy mô hình không bịràng buộc (U), k tham số, RSS(U) có (n-k) bậc tựdo

n Hồi quy mô hình (R), m tham số, RSS(R) có (n-m) bậc tựdo

n Nếu F_W> F_α(k-m, n-k): bác bỏH₀

n Kiểmđịnh Wald thườngđược sửdụng khi kiểmđịnh tổhợp tuyến tính, kiểmđịnh thừa biến…

n Kiểm định tổhợp tuyến tính vềhệsốhồi quy

) , 2 (

2 2

) ~ )(

1 (

) ( )

/(

) /(

) (

k n m k U

R U U

U R

W F

k n R

m k R R k

n RSS

m k RSS F RSS

−

− −

−

−

= −

−

−

= − ^(U)

u X X

Y = β

₀

+ β

_{1 1}

+ β

_{2 2}

+

H₀: β₁= β₂ H₁: β₁≠β₂

n Cách 1: Kiểmđịnh Wald

u Z u

X X

Y=β0+β1( 1+ 2)+ =β0+β1 +

) 3 , 1 2 (

2 2

) ~ 3 )(

1 (

) 2 3 (

− −

−

−

= − n

U R U

W F

n R

R F R

Cách 2: Kiểmđịnh t gián tiếp đặtδ=β₁-β₂; H₀: β₁= β₂; H₀: δ=0

u X X X u

X X

Y

= β

0

+ β

1 1

+

(

β

1

− δ

) 2

+ = β

0

+ β

1( 1

+

2)

− δ

2

+

u

X Z

Y

= β

0

+ β

1

− δ

2

+

^ 3

^

^

* 0 ~

−

= −

tn

t

δ

δ

TS Nguyễn Minh Đức 2009 n Cách 3: Kiểmđịnh t trực tiếp

) ( ) (

0

^ 2

^ 1

^

^ 2

^ 1

^

^

^

*

β β

β β δ δ

−

= −

= −

se se

t

) ( var ) (

^ 2

^ 1

^

^ 2

^ 1

^

β

−

β

=

β

−

β

se

) , cov(

2 ) ( var ) ( var ) ( var

^ 2

^ 1

^ 2

^

^ 1

^

^ 2

^ 1

^ β −β = β + β − β β

Hàm hồi qui với biến giả

n Trong phân tích hồi qui biến giảthườngđược sửdụng cho những biếnđịnh tính: nam, nữ, việc thích hay không thích, tôn giáo, tốt nghiệpđại học hay chưa, sốngởthành thịhay nông thôn, màu da, quốc tịch

n Những biếnđịnh tính này có thểđược lượng hóa là 0, 1hoặc trong khoảng 1-9

n Y_i= b₁+ b₂X_i+ b₃D_i+ e_i Cách xây dựng biến giả:

Ví dụ: xemảnh hưởng của trìnhđộđối với lương của giáo viên

n Cách 1: D = 0: nếu là cửnhân, thuộc tính cơsở D=1: nếu là thạc sĩ

Y = b₁+ b₂D + u

n b₁ lương trung bình của giáo viên có trìnhđộcửnhân (b + b) lương trung bình của giáo viên có trìnhđộthạc sĩ

TS Nguyễn Minh Đức 2009 n Nếu biến giảcó n thuộc tính, có (n-1) biến giả

n Giảsử: có 3 mứcđộvềtrìnhđộgiáo viên (cửnhân, thạc sĩ, tiến sĩ) Y = b₁+ b₂D₁+ b₃D₂+ u

n b₁ lương trung bình của giáo viên có trìnhđộcửnhân

n (b₁+ b₂) lương trung bình của giáo viên có trìnhđộthạc sĩ

n (b₁+ b₃) lương trung bình của giáo viên có trìnhđộtiến sĩ

n b₂ chênh lệch giữa mức lương của giáo viên có trìnhđộcửnhân và thạc sĩ

n b₃ chênh lệch giữa mức lương của giáo viên có trìnhđộcửnhân và tiến sĩ

kỹ thuật sử dụng biến giả

n Y = b₁+ b₂X+ b₃D + u Y: lương của giáo viên X: sốnăm giảng dạy D: giới tính (nam=1, nữ=0)

Dịch chuyển sốhạng tung độgốc:lương khởiđiểm của giáo viên nam và nữ khác nhau nhưng tốcđộtăng lương theo sốnăm giảng dạy là nhưnhau

n PRF: Y = b₁+ b₂X+ b₃D + u

n SRF: nữ: Y = β₁+ β₂X

n nam: Y = β₁+ β₂X+ β₃

n Kiểmđịnh giảthuyết H₀: β₃ =0

Dịch chuyển sốhạng độdốc:lương khởiđiểm là nhưnhau nhưng tốcđộ tăng khác nhau

PRF: Y = b₁+ b₂X+ b3(D.X) + u (D.X): biến tương tác

SRF: nữ: Y = β₁+ β₂X

n nam: Y = β₁+ β₂X+ β₃X= β₁+ (β₂+ β₃)X

n Kiểmđịnh giảthuyết H₀: β₃ =0

TS Nguyễn Minh Đức 2009

Dịch chuyển sốhạng độdốc và sốhạng tung độgốc:lương khởi điểm khác nhau và tốcđộtăng lương khác nhau

n PRF: Y = b₁+ b₂X+ b₃D + b₄(D.X) + u

n SRF: nữ: Y = β₁+ β₂X

n nam: Y = (β₁+ β₃) + (β₂ + β₄) X

n Kiểmđịnh giảthuyết H₀: β₃ = β₄=0