Bài giảng Phân tích dữ liệu: Chương 8 - PGS. TS. Nguyễn Thống

PHÂN TÍCH DỮ LIỆU
TRƯỜNG ĐẠI HỌC BÁCH KHOA TP. HCM

PHÂN TÍCH DỮ LIỆU

Chương 8: Hồi quy tuyến tính

Chương 8: Hồi quy tuyến tính

Khoa KTXD - Bộ môn KTTNN

Giảng viên: PGS. TS. NGUYỄN THỐNG
E-mail: nguyenthong@hcmut.edu.vn or nthong56@yahoo.fr
Web: http://www4.hcmut.edu.vn/~nguyenthong/

1

NỘI DUNG MÔN HỌC
Chương 1. Thống kê mô tả (ôn).
Chương 1bis. Xác suất & phân phối thống kê (ôn)..
Chương 2. Khoảng tin cậy.
Chương 3. Kiểm định thống kê.
Chương 4. Phân loại dữ liệu (Classification).
Chương 5. Phân nhóm dữ liệu (Cluster).
Chương 6. Phân tích thành phần chính (PCA).
Chương 7. Phân tích chuỗi thời gian.
Chương 8. Hồi quy tuyến tính.
Chương 9. Xử lý số liệu thực nghiệm.
Chương 10. Giới thiệu phần mềm SPSS or R
PGS. TS. Nguyễn Thống

Tél. (08) 38 691 592- 098 99 66 719

PHÂN TÍCH DỮ LIỆU

PHÂN TÍCH DỮ LIỆU

Chương 8: Hồi quy tuyến tính

Chương 8: Hồi quy tuyến tính

Để có thể biểu diễn hồi quy CÓ
NGHĨA  Các biến phải có tính
NHÂN QUẢ (có ý nghĩa liên quan
kinh tế, xã hội, vật lý,…).
 Lưu ý, phân tích phương sai dùng
xem xét quan hệ biến giữa biến giải
thích dạng ĐỊNH TÍNH & biến cần
được giải thích dạng ĐỊNH LƯỢNG.

GIỚI THIỆU HỒI QUY
Đây là phương pháp nghiên
cứu (định lượng) nhằm giải
thích một biến ĐỊNH LƯỢNG
nhờ vào 1 hoặc nhiều biến
ĐỊNH LƯỢNG dưới dạng một
phương trình toán học.
8/29/2016

3

8/29/2016

PGS. Dr. Nguyễn Thống

4

PGS. Dr. Nguyễn Thống

PHÂN TÍCH DỮ LIỆU

PHÂN TÍCH DỮ LIỆU

Chương 8: Hồi quy tuyến tính

Chương 8: Hồi quy tuyến tính

TỔNG QUÁT
 HỒI QUY TUYẾN TÍNH
 HỒI QUY PHI TUYẾN

Y

Y

HỒI QUY ĐƠN TUYẾN TÍNH HỒI QUY ĐƠN PHI TUYẾN
(đường thẳng)

X
0

Y

X
0

X2

8/29/2016

PGS. Dr. Nguyễn Thống

5

8/29/2016

PGS. Dr. Nguyễn Thống

0

HỒI QUY BỘI
(mặt phẳng or siêu mặt phẳng)

X1

6

1

PHÂN TÍCH DỮ LIỆU

PHÂN TÍCH DỮ LIỆU

Chương 8: Hồi quy tuyến tính

Chương 8: Hồi quy tuyến tính

HỒI QUY TUYẾN TÍNH
 Hồi quy tuyến tính đơn
 Hồi quy tuyến tính bội

8/29/2016

HỒI QUY
TUYẾN TÍNH ĐƠN

8/29/2016

7

PGS. Dr. Nguyễn Thống

8

PGS. Dr. Nguyễn Thống

PHÂN TÍCH DỮ LIỆU
THỐNG KÊ ỨNG DỤNG TRONG QUẢN LÝ & KỸ THUẬT
Chương 8: Hồi quy tuyến tính

PHÂN TÍCH DỮ LIỆU
Chương 8:
TãM T¾THồi quy tuyến tính
Lý THUYÕT

Chương 6: Hồi quy tuyến tính

M« h×nh ®îc m« t¶ bëi ph¬ng tr×nh tuyÕn tÝnh cã
d¹ng sau:

y t  a 0  a1X1, t   t

HỒI QUY TUYẾN TÍNH ĐƠN

t=1 N (sè lîng quan tr¾c)
yt gi¸ biÕn cÇn nghiªn cøu t¹i thêi ®iÓm t, xi,t gi¸ trÞ
biÕn gi¶i thÝch thø i t¹i thêi ®iÓm t.
N sè lîng quan tr¾c c¸c biÕn.
a0, a1 : tham sè m« h×nh sÏ ®îc x¸c ®Þnh tõ sè liÖu
quan s¸t

Y
Yi

Ñöôøng thaúng
hoài quy ñôn

di

X

t: sai soá cuûa moâ hình.

Xi

0
8/29/2016

9

8/29/2016

PGS. Dr. Nguyễn Thống

10

PGS. Dr. Nguyễn Thống

PHÂN TÍCH DỮ LIỆU

PHÂN TÍCH DỮ LIỆU

Chương 8: Hồi quy tuyến tính

Chương 8: Hồi quy tuyến tính

PHƯƠNG TRÌNH HỒI QUY
TUYẾN TÍNH ĐƠN
Xu theá tuyeán tính
Y=a0+a1X

Y

?
?
?

ΔY4

Gọi yi là khoảng cách thẳng đứng từ
giá trị quan sát (xi,yi) đến đường thẳng
cần xác định. Ta định nghĩa haøm muïc
tieâu:
Quan sát

N

N

2

D   Y   Yi  (a 0  a1X i )  min

ΔY3

i 1

2
i

i 1

Y0
0

8/29/2016

t

t

1
PGS. Dr. Nguyễn Thống 2

t3

t4

t5

tI

tN

11

X

8/29/2016

PGS. Dr. Nguyễn Thống

Hồi quy

12

2

PHÂN TÍCH DỮ LIỆU

PHÂN TÍCH DỮ LIỆU

Chương 8: Hồi quy tuyến tính

Chương 8: Hồi quy tuyến tính

8/29/2016

PGS. Dr. Nguyễn Thống

 D
 a  0

0

 D  0
 a 1


 2y  a

Töø ñoù:

Đây là một hàm 2 biến a0 và a1, để cho D
cực trị (với ý nghĩa vật lý của bài toán
ta biết đó là cực tiểu) ta phải có:

i

i

 2y  a
i

0

0

 a1x i   0 [1]

 a1x i x i  0 [2]

i

Giải hệ phương trình trên ta có:

(1)

x y

x

a1

( 2)
13

i

 Nx i y i

2
i

i

 Nx i2

i

8/29/2016

a 0  y i  a 1x i

i

14

PGS. Dr. Nguyễn Thống

PHÂN TÍCH DỮ LIỆU

PHÂN TÍCH DỮ LIỆU

Chương 8: Hồi quy tuyến tính

Chương 8: Hồi quy tuyến tính

HAØM TÍNH a, b TRONG EXCEL
 Intercept(Y,X)  tính tung ñoä
goác b cuûa quan heä tuyeán tính.
 Linest(Y,X)  tính heä soá a (ñoä
doác cuûa quan heä tuyeán tính giöõa
Yi & Xi).

PHƯƠNG TRÌNH PHƯƠNG SAI

8/29/2016

15

PGS. Dr. Nguyễn Thống

N



SST   yi  y



2

i 1

 Phöông sai toång
(baûn chaát soá lieäu)

Sum of Square Total
N





 Phöông sai moâ hình
i 1
(chaát löôïng moâ hình)
Sum of Square Explicative

ˆ
SSE   yi  y

2

8/29/2016

16

PGS. Dr. Nguyễn Thống

PHÂN TÍCH DỮ LIỆU

N

PHÂN TÍCH DỮ LIỆU

Chương 8: Hồi quy tuyến tính

Chương 8: Hồi quy tuyến tính

i 1

Phöông sai thaëng dö
(sai soá moâ hình)

2

ˆ
SSR    yi  yi 

Sum of Square Residual

SST = SSE + SSR [1]
[1] phöông trình phöông sai

KIỂM ĐỊNH & ĐÁNH GIÁ
CHẤT LƯỢNG MÔ HÌNH
HỒI QUY

yi: giaù trò quan saùt, y : giaù trò tính töø moâ hình
ˆ
y : giaù trò trung bình bieán nghieân cöùu
8/29/2016

PGS. Dr. Nguyễn Thống

17

8/29/2016

18

PGS. Dr. Nguyễn Thống

3

PHÂN TÍCH DỮ LIỆU

PHÂN TÍCH DỮ LIỆU

Chương 8: Hồi quy tuyến tính

Chương 8: Hồi quy tuyến tính

CHẤT LƯỢNG
Hệ số xác định R2
R2 

SSE
SSR
 1
SST
SST

 y

 y

i

 2
 y

i

 y

i

2

Hệ số xác định R2 hiệu chỉnh:

 0  1

Khi số liệu quan sát n nhỏ, giá trị R2
được hiệu chỉnh như sau (k=1: hồi
quy đơn):
n 1

R2  1 

Chú ý: Khi n lớn 

i

R2 1  mô hình càng TỐT
8/29/2016

19

PGS. Dr. Nguyễn Thống

8/29/2016

PGS. Dr. Nguyễn Thống

n  k 1

(1  R 2 )

R2  R2
R2  R2

PHÂN TÍCH DỮ LIỆU

PHÂN TÍCH DỮ LIỆU

Chương 8: Hồi quy tuyến tính

20

Chương 8: Hồi quy tuyến tính

KIỂM ĐỊNH HỆ SỐ ai
MÔ HÌNH
ai là các giá trị trung bình thống
kê 
Kiểm định ai là khác 0 hay bằng
0 theo quan điểm thống kê.
8/29/2016

21

PGS. Dr. Nguyễn Thống

ai 

KIỂM ĐỊNH HỆ SỐ ai MÔ HÌNH
lập liên kết X
0  biến độc trong phươngi
có nghĩa
trình hồi quy.

ai  0 

biến Xi KHÔNG CÓ
trong phương trình hồi
quy.

 Kiểm định Student
8/29/2016

22

PGS. Dr. Nguyễn Thống

PHÂN TÍCH DỮ LIỆU

PHÂN TÍCH DỮ LIỆU

Chương 8: Hồi quy tuyến tính

Chương 8: Hồi quy tuyến tính

GIAÛI THÍCH KIEÅM ÑÒNH STUDENT (kieåm ñònh
caùc heä soá ai cuûa moâ hình vaø 0) BAÈNG ÑOÀ THÒ

VÍ DỤ

S

Phân Student

-t -t5%

0

t5% t


- Neáu S > 5%  t=0 theo quan ñieåm thoáng keâ.
- Neáu S < 5%  t khaùc 0 theo quan ñieåm thoáng keâ.
8/29/2016

PGS. Dr. Nguyễn Thống

23

8/29/2016

24

PGS. Dr. Nguyễn Thống

4

PHÂN TÍCH DỮ LIỆU

PHÂN TÍCH DỮ LIỆU

Chương 8: Hồi quy tuyến tính

Chương 8: Hồi quy tuyến tính

Xét hồi quy tuyến tính bội bậc k:

TÍNH TỰ TƯƠNG QUAN
 i ( t )   i 1 ( t )   i  2 ( t ) with ,   0

Yi  a1X1,i  a 2 X 2,i  ...  a k X k ,i  i

  có tính TỰ TƯƠNG QUAN BẬC 2

Biến cần
giải thích

Chuỗi trể bậc 1 của 
i

0

1

2

3

i

4

6

7

3

4

6

X  Biến giải thích

7

i-1
8/29/2016

Sai số mô hình
25

26

PGS. Dr. Nguyễn Thống

PHÂN TÍCH DỮ LIỆU

PHÂN TÍCH DỮ LIỆU

Chương 8: Hồi quy tuyến tính

Chương 8: Hồi quy tuyến tính

KIỂM ĐỊNH CÁC THẶNG DƯ CÓ
BỊ TÍNH TỰ TƯƠNG QUAN 
Kiểm định Durbin-Watson, DW
Thặng dư 


ei  yi  yi

Giá trị quan sát
8/29/2016

PGS. Dr. Nguyễn Thống

Giá trị từ mô hình

27

CHÚ Ý

Yt  a 0  a 1X1, t   t
 Mô hình hồi quy tuyến tính đơn sẽ
TỐT khi t là một “NHIỄU TRẮNG” 
Nó KHÔNG CÓ tính tự tương quan
8/29/2016

28

PGS. Dr. Nguyễn Thống

PHÂN TÍCH DỮ LIỆU

PHÂN TÍCH DỮ LIỆU

Chương 8: Hồi quy tuyến tính

Chương 8: Hồi quy tuyến tính

TỰ TƯƠNG QUAN
Tính tự tương quan bậc 1 

e i  e i 1  
Với   khác 0  có tính TỰ
TƯƠNG QUAN BẬC 1  MÔ
HÌNH CHƯA TỐT  THÊM BIẾN
???
8/29/2016

PGS. Dr. Nguyễn Thống

29

Kiểm định Durbin-Watson
Trong thực hành có thể dùng
kiểm định Durbin-Watson để
đánh giá (Tham số DW):
DW  2  Ok
 DW KHÁC giá trị 2 càng nhiều
 càng có nguy cơ tính TỰ
TƯƠNG QUAN CỦA ei.
8/29/2016

30

PGS. Dr. Nguyễn Thống

5