Xem mẫu
Chng 7
TNG QUAN VÀ H I QUI TUY N TÍNH
160
Chương 7
Tương quan và
H i qui tuy n tính
1. H S
TƯƠNG QUAN M U
nh nghĩa và các tính ch t c a H s tương quan ρ c a hai bi n ng u
nhiên X và Y ã ư c
c p n trong o n 2.7. Trong th c t , chúng ta không
bi t ρ mà ch d a vào m u suy oán v ρ.
1.1. nh nghĩa. Gi s (X1, Y1); (X 2, Y2); . . .; (Xn, Yn) là m u ư c
thành l p t vectơ ng u nhiên (X, Y). Bi n ng u nhiên
n
∑ ( X i − X ).( Yi − Y )
R=
i =1
( n − 1) S X SY
ư c g i là H s tương quan m u c a X và Y.
V i m u c th , giá tr h s tương quan m u ư c tính b i:
r =
∑ xi yi
− n x. y
=
(n − 1) s X .sY
∑ xi yi
− n x. y
( ∑ xi2 − n.x 2 ) ( ∑ yi2 − n. y 2 )
n
trong ó, ký hi u Σ ch
∑
i =1
2. KI M
NH GI THI T V H S
TƯƠNG QUAN
Gi s (X1, Y1); (X2, Y2); . . .; (Xn, Yn) là m u ư c thành l p t t ng th
(X,Y) có phân ph i chu n hai chi u. Chúng ta mu n ki m nh các gi thi t liên
Chng 7
TNG QUAN VÀ H I QUI TUY N TÍNH
161
quan n các giá tr khác nhau c a h s tương quan t ng th , ký hi u ρ, d a trên
phân ph i m u c a h s tương quan m u R.
2.1. Ki m
nh gi thi t:
H0: ρ = 0
i v i H1: ρ ≠ 0 (ho c ρ > 0 ho c ρ < 0)
Ngư i ta ch ng minh ư c r ng v i gi thi t H0, phân ph i m u c a R
x ng; t ó, th ng kê
n−2
T= R
i
~ Student (n − 2)
1 − R2
Tr c nghi m t ư c dùng trong trư ng h p này.
2.2. Ki m
nh gi thi t:
H0: ρ = ρo ≠ 0
i v i H1: ρ ≠ ρo
V i gi thi t H0, phân ph i m u c a R b l ch nên không th dùng tr c ti p
R. Trong trư ng h p này, Fisher ã ngh m t phép bi n i ưa n th ng kê
1+ R
Z = 1 ln
( )
2
1− R
có phân ph i ti m c n chu n v i kỳ v ng và phương sai l n lư t là
1 + ρo
ρo
2
1
µ Z = 1 ln
+ 2(n − 1) và σ Z = n − 3
2 1 − ρo
Tr c nghi m U ư c dùng v i U = Z*, bi n chu n hóa c a Z.
Phép bi n i trên ư c g i là phép bi n i Fisher; nó cũng ư c dùng
tìm kho ng tin c y cho h s tương quan t ng th .
2.3. Thí d . D a vào m u ng u nhiên c 18 ư c ch n t t ng th (X,Y)
có phân ph i chu n 2 chi u, ngư i ta tính ư c giá tr h s tương quan m u r =
0,32. m c ý nghĩa 5%, có s tương quan tuy n tính gi a X và Y không?
Gi i.
Chúng ta ph i có quy t
nh gi a hai gi thi t:
H0 : ρ = 0
và
H1: ρ ≠ 0.
N u H0 úng thì BNN
T= R
18 − 2
1 − R2
V i m c α = 5% , giá tr t i h n là:
v i m u c th , chúng ta có:
~ t(16)
(16)
t0,975 = 2,1199 ;
Chng 7
TNG QUAN VÀ H I QUI TUY N TÍNH
162
t=
0,32. 16
1 − (0,32)2
= 1,35
m c ý nghĩa α = 5%.
Vì |t| < 2,12 nên gi thi t H0 không th b bác b
Nói cách khác, chúng ta ch p nh n r ng X và Y không tương quan m c ý nghĩa
5%.
2.4. Thí d . H s tương quan ư c tính trên m u c 24, ch n t t ng th
có phân ph i chu n 2 chi u, là r = 0,75. m c ý nghĩa α = 5%, hãy cho nh n xét
v tài li u cho r ng h s tương quan t ng th b ng 0,65.
Gi i.
Ki m
nh gi thi t H0: ρ = 0,65
i v i H1: ρ ≠ 0,65.
Tr c nghi m U 2 uôi ư c s d ng, v i
U =
Z − µZ
~ N (0,1) .
σZ
V i m c α = 5% , gtth = u0,975 = 1, 96 ;
v i m u c th , chúng ta có :
(
)
1 + 0,75
z = 1 ln
= 0,9730 ,
2
(
)
1 + 0,65
µ Z = 1 ln
+
2
và
1 − 0,65
u=
1 − 0,75
0,65
= 0,7894;
2(24 −1)
σZ = 1 ,
21
z − µZ
= 0,8414
σZ
Vì u < gtth nên m c ý nghĩa α = 5%, gi thi t H0 ư c ch p nh n,
i.e.tài li u ư c ch p nh n. .
3. PHÂN TÍCH H I QUI
Phân tích tương quan ph n trên giúp chúng ta bi t m c
ph thu c
tuy n tính gi a các bi n ng u nhiên. Bài toán Phân tích h i qui ư c trình bày
trong ph n này s giúp chúng ta thi t l p c u trúc c a m i liên h ph thu c c a
m t bi n (g i là bi n ph thu c) v i m t hay nhi u bi n khác (g i là bi n c
l p); chúng ta mu n th hi n m i liên h ph thu c gi a các bi n dư i d ng toán
h c b ng m t phương trình n i các bi n ó. Phương trình ó cho phép chúng ta
d oán v m t bi n ph thu c trên cơ s ã bi t v các bi n c l p. Giáo trình
này ch trình bày trư ng h p có m t bi n c l p duy nh t (h i qui ơn).
Chng 7
TNG QUAN VÀ H I QUI TUY N TÍNH
163
3.1.
nh nghĩa. Cho hai BNN X và Y trên cùng m t không gian xác su t
có h.m. . ng th i f . Kỳ v ng i u ki n c a Y khi bi t X l y giá tr x, ký hi u
E(Y/x) ư c xác nh b i:
E (Y / x) = ∑ y. f ( y / x) n u X và Y r i r c,
y
+∞
E (Y / x) =
ho c
∫
y. f ( y / x) dy
n u X và Y liên t c
−∞
ϕ(x) = E(Y/x) là m t hàm c a x. ϕ ư c g i là hàm h i qui c a Y theo X.
th c a hàm ϕ ư c g i là ư ng h i qui c a Y theo X.
nh nghĩa tương t cho khái ni m kỳ v ng i u ki n c a X khi bi t Y l y
giá tr y, ký hi u E(X/y). ψ(y) = E(X/y) là m t hàm c a y. ψ ư c g i là hàm h i
qui c a X theo Y.
th c a hàm ψ ư c g i là ư ng h i qui c a X theo Y.
3.2.
nh nghĩa. Cho hai BNN X và Y trên cùng m t không gian xác su t.
(a) N u ϕ(x) = E(Y/x) = a + bx thì ngư i ta nói r ng ϕ là hàm h i qui
tuy n tính c a Y theo X. b ư c g i là h s h i qui tuy n tính Y theo X.
(b) N u ψ(y) = E(X/y) = c + dx thì ngư i ta nói r ng ψ là hàm h i qui
tuy n tính c a X theo Y. d ư c g i là h s h i qui tuy n tính X theo Y.
Chúng ta công nh n
3.3.
nh lý sau:
nh lý. Cho hai BNN X và Y tuân theo lu t phân ph i chu n hai
2
chi u v i các kỳ v ng µ1 và µ 2 , các phương sai dương σ1 và σ 2 , và h s
2
tương quan ρ. Khi ó, hàm h i qui c a Y theo X và hàm h i qui c a X theo Y là
các hàm tuy n tính. C th :
(a) ϕ(x) = E(Y/x) = a + bx, v i:
b= ρ
σ2
σ1
và
a =µ 2 − bµ1
(b) ψ(y) = E(X/y) = c + dx, v i:
d= ρ
σ1
σ2
và
c =µ1 − dµ 2
3.4. Bài toán. Gi s X là bi n ng u nhiên c l p và Y là bi n ng u
nhiên ph thu c vào X. N u chúng ta mu n ư c lư ng giá tr c a Y b ng giá tr
c a bi n ng u nhiên θoX, v i θ là m t hàm th c nào ó, thì chúng ta m c m t sai
s
S(θ) = E[(Y − θoX)2],
g i là
sai d báo. V n
t ra là ch n θ như th nào
t t nh t, theo nghĩa S(θ) t giá tr nh nh t.
3.5.
nh lý. Bi u th c S(θ) = E[(Y − θ oX)2]
E(Y/x) v i m i x.
cho s ư c lư ng là
t c c ti u khi θ(x) =
Chng 7
TNG QUAN VÀ H I QUI TUY N TÍNH
164
3.6. Chú ý. Khi dùng hàm h i qui c a Y theo X
sai d báo là:
tính x p x Y thì
2
σY . X = σ2 ( 1 − ρ2 )
2
càng g n 1. Do ó,
Chúng ta nh n th y r ng sai s càng nh khi ρ
chúng ta ch nên dùng hàm h i qui x p x Y trên cơ s bi t X khi ρ
g n
b ng 1.
Chúng ta có th tìm kho ng tin c y cho trung bình c a Y khi X l y giá tr
x0. Tuy nhiên, trong giáo trình này chúng ta t m hài lòng v i d báo c a Y b ng
cách thay giá tr x0 vào phương trình ư ng th ng h i qui c a Y theo X.
4. HÀM H I QUI TUY N TÍNH M U
Trong th c t , chúng ta không kh o sát h t t ng th , chưa bi t phân ph i
c a vectơ ng u nhiên (X,Y) nên khó có th xác nh ư c d ng toán h c c a hàm
h i qui t ng th . Chúng ta ph i d a trên m u
xây d ng hàm h i qui m u sao
cho nó là ư c lư ng t t nh t hàm h i qui t ng th .
Gi s (x1, y1), (x2, y2), . . ., (xn, yn) là n c p quan sát ư c trên m u ư c
thành l p t vectơ ng u nhiên (X,Y).
có m t hình nh tr c quan v m i tương
quan gi a X và Y, ngư i ta bi u di n m i c p s (xi, yi) b ng i m Mi có to
(xi, yi), (i = 1, 2, . . ., n) trên m t ph ng to
Oxy. T p h p các i m Mi (i = 1,
phân
2, . . ., n) t o nên m t “ ám mây th ng kê” và thư ng ư c g i là Bi u
tán. Bi u
phân tán cho chúng ta cái nhìn khái quát v m c
cũng như c u
trúc c a s tương quan gi a Y và X. T bi u
phân tán, ngư i ta thư ng nh n
th y có m t ư ng (cong ho c th ng) x p x d li u (các i m (xi, yi) t t p g n
ư ng ó). N u ư ng nói trên là ư ng th ng thì Y có h i qui tuy n tính theo X.
H i qui tuy n tính
y
30
20
10
2
y
4
6
H i qui phi tuy n
8
x
nguon tai.lieu . vn
TNG QUAN VÀ H I QUI TUY N TÍNH
160
Chương 7
Tương quan và
H i qui tuy n tính
1. H S
TƯƠNG QUAN M U
nh nghĩa và các tính ch t c a H s tương quan ρ c a hai bi n ng u
nhiên X và Y ã ư c
c p n trong o n 2.7. Trong th c t , chúng ta không
bi t ρ mà ch d a vào m u suy oán v ρ.
1.1. nh nghĩa. Gi s (X1, Y1); (X 2, Y2); . . .; (Xn, Yn) là m u ư c
thành l p t vectơ ng u nhiên (X, Y). Bi n ng u nhiên
n
∑ ( X i − X ).( Yi − Y )
R=
i =1
( n − 1) S X SY
ư c g i là H s tương quan m u c a X và Y.
V i m u c th , giá tr h s tương quan m u ư c tính b i:
r =
∑ xi yi
− n x. y
=
(n − 1) s X .sY
∑ xi yi
− n x. y
( ∑ xi2 − n.x 2 ) ( ∑ yi2 − n. y 2 )
n
trong ó, ký hi u Σ ch
∑
i =1
2. KI M
NH GI THI T V H S
TƯƠNG QUAN
Gi s (X1, Y1); (X2, Y2); . . .; (Xn, Yn) là m u ư c thành l p t t ng th
(X,Y) có phân ph i chu n hai chi u. Chúng ta mu n ki m nh các gi thi t liên
Chng 7
TNG QUAN VÀ H I QUI TUY N TÍNH
161
quan n các giá tr khác nhau c a h s tương quan t ng th , ký hi u ρ, d a trên
phân ph i m u c a h s tương quan m u R.
2.1. Ki m
nh gi thi t:
H0: ρ = 0
i v i H1: ρ ≠ 0 (ho c ρ > 0 ho c ρ < 0)
Ngư i ta ch ng minh ư c r ng v i gi thi t H0, phân ph i m u c a R
x ng; t ó, th ng kê
n−2
T= R
i
~ Student (n − 2)
1 − R2
Tr c nghi m t ư c dùng trong trư ng h p này.
2.2. Ki m
nh gi thi t:
H0: ρ = ρo ≠ 0
i v i H1: ρ ≠ ρo
V i gi thi t H0, phân ph i m u c a R b l ch nên không th dùng tr c ti p
R. Trong trư ng h p này, Fisher ã ngh m t phép bi n i ưa n th ng kê
1+ R
Z = 1 ln
( )
2
1− R
có phân ph i ti m c n chu n v i kỳ v ng và phương sai l n lư t là
1 + ρo
ρo
2
1
µ Z = 1 ln
+ 2(n − 1) và σ Z = n − 3
2 1 − ρo
Tr c nghi m U ư c dùng v i U = Z*, bi n chu n hóa c a Z.
Phép bi n i trên ư c g i là phép bi n i Fisher; nó cũng ư c dùng
tìm kho ng tin c y cho h s tương quan t ng th .
2.3. Thí d . D a vào m u ng u nhiên c 18 ư c ch n t t ng th (X,Y)
có phân ph i chu n 2 chi u, ngư i ta tính ư c giá tr h s tương quan m u r =
0,32. m c ý nghĩa 5%, có s tương quan tuy n tính gi a X và Y không?
Gi i.
Chúng ta ph i có quy t
nh gi a hai gi thi t:
H0 : ρ = 0
và
H1: ρ ≠ 0.
N u H0 úng thì BNN
T= R
18 − 2
1 − R2
V i m c α = 5% , giá tr t i h n là:
v i m u c th , chúng ta có:
~ t(16)
(16)
t0,975 = 2,1199 ;
Chng 7
TNG QUAN VÀ H I QUI TUY N TÍNH
162
t=
0,32. 16
1 − (0,32)2
= 1,35
m c ý nghĩa α = 5%.
Vì |t| < 2,12 nên gi thi t H0 không th b bác b
Nói cách khác, chúng ta ch p nh n r ng X và Y không tương quan m c ý nghĩa
5%.
2.4. Thí d . H s tương quan ư c tính trên m u c 24, ch n t t ng th
có phân ph i chu n 2 chi u, là r = 0,75. m c ý nghĩa α = 5%, hãy cho nh n xét
v tài li u cho r ng h s tương quan t ng th b ng 0,65.
Gi i.
Ki m
nh gi thi t H0: ρ = 0,65
i v i H1: ρ ≠ 0,65.
Tr c nghi m U 2 uôi ư c s d ng, v i
U =
Z − µZ
~ N (0,1) .
σZ
V i m c α = 5% , gtth = u0,975 = 1, 96 ;
v i m u c th , chúng ta có :
(
)
1 + 0,75
z = 1 ln
= 0,9730 ,
2
(
)
1 + 0,65
µ Z = 1 ln
+
2
và
1 − 0,65
u=
1 − 0,75
0,65
= 0,7894;
2(24 −1)
σZ = 1 ,
21
z − µZ
= 0,8414
σZ
Vì u < gtth nên m c ý nghĩa α = 5%, gi thi t H0 ư c ch p nh n,
i.e.tài li u ư c ch p nh n. .
3. PHÂN TÍCH H I QUI
Phân tích tương quan ph n trên giúp chúng ta bi t m c
ph thu c
tuy n tính gi a các bi n ng u nhiên. Bài toán Phân tích h i qui ư c trình bày
trong ph n này s giúp chúng ta thi t l p c u trúc c a m i liên h ph thu c c a
m t bi n (g i là bi n ph thu c) v i m t hay nhi u bi n khác (g i là bi n c
l p); chúng ta mu n th hi n m i liên h ph thu c gi a các bi n dư i d ng toán
h c b ng m t phương trình n i các bi n ó. Phương trình ó cho phép chúng ta
d oán v m t bi n ph thu c trên cơ s ã bi t v các bi n c l p. Giáo trình
này ch trình bày trư ng h p có m t bi n c l p duy nh t (h i qui ơn).
Chng 7
TNG QUAN VÀ H I QUI TUY N TÍNH
163
3.1.
nh nghĩa. Cho hai BNN X và Y trên cùng m t không gian xác su t
có h.m. . ng th i f . Kỳ v ng i u ki n c a Y khi bi t X l y giá tr x, ký hi u
E(Y/x) ư c xác nh b i:
E (Y / x) = ∑ y. f ( y / x) n u X và Y r i r c,
y
+∞
E (Y / x) =
ho c
∫
y. f ( y / x) dy
n u X và Y liên t c
−∞
ϕ(x) = E(Y/x) là m t hàm c a x. ϕ ư c g i là hàm h i qui c a Y theo X.
th c a hàm ϕ ư c g i là ư ng h i qui c a Y theo X.
nh nghĩa tương t cho khái ni m kỳ v ng i u ki n c a X khi bi t Y l y
giá tr y, ký hi u E(X/y). ψ(y) = E(X/y) là m t hàm c a y. ψ ư c g i là hàm h i
qui c a X theo Y.
th c a hàm ψ ư c g i là ư ng h i qui c a X theo Y.
3.2.
nh nghĩa. Cho hai BNN X và Y trên cùng m t không gian xác su t.
(a) N u ϕ(x) = E(Y/x) = a + bx thì ngư i ta nói r ng ϕ là hàm h i qui
tuy n tính c a Y theo X. b ư c g i là h s h i qui tuy n tính Y theo X.
(b) N u ψ(y) = E(X/y) = c + dx thì ngư i ta nói r ng ψ là hàm h i qui
tuy n tính c a X theo Y. d ư c g i là h s h i qui tuy n tính X theo Y.
Chúng ta công nh n
3.3.
nh lý sau:
nh lý. Cho hai BNN X và Y tuân theo lu t phân ph i chu n hai
2
chi u v i các kỳ v ng µ1 và µ 2 , các phương sai dương σ1 và σ 2 , và h s
2
tương quan ρ. Khi ó, hàm h i qui c a Y theo X và hàm h i qui c a X theo Y là
các hàm tuy n tính. C th :
(a) ϕ(x) = E(Y/x) = a + bx, v i:
b= ρ
σ2
σ1
và
a =µ 2 − bµ1
(b) ψ(y) = E(X/y) = c + dx, v i:
d= ρ
σ1
σ2
và
c =µ1 − dµ 2
3.4. Bài toán. Gi s X là bi n ng u nhiên c l p và Y là bi n ng u
nhiên ph thu c vào X. N u chúng ta mu n ư c lư ng giá tr c a Y b ng giá tr
c a bi n ng u nhiên θoX, v i θ là m t hàm th c nào ó, thì chúng ta m c m t sai
s
S(θ) = E[(Y − θoX)2],
g i là
sai d báo. V n
t ra là ch n θ như th nào
t t nh t, theo nghĩa S(θ) t giá tr nh nh t.
3.5.
nh lý. Bi u th c S(θ) = E[(Y − θ oX)2]
E(Y/x) v i m i x.
cho s ư c lư ng là
t c c ti u khi θ(x) =
Chng 7
TNG QUAN VÀ H I QUI TUY N TÍNH
164
3.6. Chú ý. Khi dùng hàm h i qui c a Y theo X
sai d báo là:
tính x p x Y thì
2
σY . X = σ2 ( 1 − ρ2 )
2
càng g n 1. Do ó,
Chúng ta nh n th y r ng sai s càng nh khi ρ
chúng ta ch nên dùng hàm h i qui x p x Y trên cơ s bi t X khi ρ
g n
b ng 1.
Chúng ta có th tìm kho ng tin c y cho trung bình c a Y khi X l y giá tr
x0. Tuy nhiên, trong giáo trình này chúng ta t m hài lòng v i d báo c a Y b ng
cách thay giá tr x0 vào phương trình ư ng th ng h i qui c a Y theo X.
4. HÀM H I QUI TUY N TÍNH M U
Trong th c t , chúng ta không kh o sát h t t ng th , chưa bi t phân ph i
c a vectơ ng u nhiên (X,Y) nên khó có th xác nh ư c d ng toán h c c a hàm
h i qui t ng th . Chúng ta ph i d a trên m u
xây d ng hàm h i qui m u sao
cho nó là ư c lư ng t t nh t hàm h i qui t ng th .
Gi s (x1, y1), (x2, y2), . . ., (xn, yn) là n c p quan sát ư c trên m u ư c
thành l p t vectơ ng u nhiên (X,Y).
có m t hình nh tr c quan v m i tương
quan gi a X và Y, ngư i ta bi u di n m i c p s (xi, yi) b ng i m Mi có to
(xi, yi), (i = 1, 2, . . ., n) trên m t ph ng to
Oxy. T p h p các i m Mi (i = 1,
phân
2, . . ., n) t o nên m t “ ám mây th ng kê” và thư ng ư c g i là Bi u
tán. Bi u
phân tán cho chúng ta cái nhìn khái quát v m c
cũng như c u
trúc c a s tương quan gi a Y và X. T bi u
phân tán, ngư i ta thư ng nh n
th y có m t ư ng (cong ho c th ng) x p x d li u (các i m (xi, yi) t t p g n
ư ng ó). N u ư ng nói trên là ư ng th ng thì Y có h i qui tuy n tính theo X.
H i qui tuy n tính
y
30
20
10
2
y
4
6
H i qui phi tuy n
8
x