Xem mẫu
Luận án Tiến sĩ Kỹ thuật
2013
MỤC LỤC
MỞ ĐẦU ............................................................................................................................... 7
CHƢƠNG 1 : MẠNG NƠRON VÀ QUÁ TRÌNH HỌC CỦA MẠNG NƠRON ................ 12
1.1. Giới thiệu về mạng nơron và quá trình học của mạng nơron ............................... 12
1.1.1. Mạng nơron và các phƣơng pháp học ......................................................................... 12
1.1.2. Đánh giá các nhân tố của quá trình học ....................................................................... 13
1.1.2.1. Khởi tạo các trọng số ................................................................................................ 13
1.1.2.2. Bước học α .............................................................................................................. 13
1.1.2.3. Hằng số quán tính .................................................................................................... 14
1.2. Nhận dạng hệ thống sử dụng mạng nơron ......................................................
14
1.2.1. Nhận dạng hệ thống .................................................................................................... 14
1.2.2. Nhận dạng hệ thống sử dụng mạng nơron ................................................................... 16
1.3. Mặt lỗi đặc biệt khi luyện mạng nơron .................................................................... 19
1.3.1. Mặt lỗi đặc biệt khi luyện mạng nơron ....................................................................... 19
1.3.2. Ví dụ về bài toán dẫn đến mặt lỗi đặc biệt ................................................................... 20
1.4. Mô phỏng quá trình luyện mạng nơron khi sử dụng Toolbox của Matlab
22
1.4.1. Ví dụ với mạng nơron có mặt lỗi bình thƣờng ............................................................ 22
1.4.2. Ví dụ với mạng nơron có mặt lỗi đặc biệt .................................................................... 25
1.5. Tổng quan về tình hình nghiên cứu trong và ngoài nƣớc
26
1.5.1. Điểm qua một số công trình nghiên cứu về mạng nơron và ứng dụng ........................ 26
1.5.2. Các công trình trong và ngoài nƣớc nghiên cứu về thuật toán học của mạng nơron ... 31
1.5.3. Bàn luận ...................................................................................................................... 37
1.6. Kết luận chƣơng 1 ....................................................................................................... 38
CHƢƠNG 2: THUẬT TOÁN VƢỢT KHE TRONG QUÁ TRÌNH LUYỆN MẠNG NƠRON
............................................................................................................................................. 40
2.1. Thuật toán vƣợt khe .................................................................................................. 40
2.1.1. Đặt vấn đề .................................................................................................................. 40
2.1.2. Tính hội tụ và điều kiện tối ƣu ..................................................................................... 41
2.1.3. Thuật toán vƣợt khe .................................................................................................... 46
2.1.3.1. Giới thiệu ................................................................................................................. 47
2.1.3.2. Nguyên lý vượt khe .................................................................................................... 48
1
Luận án Tiến sĩ Kỹ thuật
2013
2.1.3.3. Xác định bước vượt khe ............................................................................................. 51
2.1.3.4. Ví dụ ........................................................................................................................ 54
2.2 Ứng dụng thuật toán vƣợt khe trong quá trình luyện mạng nơron ........................ 56
2.3 Minh họa thuật toán .................................................................................................... 58
2.3.1. Công tác chuẩn bị ........................................................................................................ 58
2.3.1.1. Điều chỉnh trọng số lớp ra ........................................................................................ 59
2.3.1.2. Điều chỉnh trọng số lớp ẩn ......................................................................................... 60
2.3.2. Cấu trúc mạng............................................................................................................. 62
2.3.3. Các thƣ viện và hàm mạng .......................................................................................... 64
2.3.3.1. Thư viện ................................................................................................................... 64
2.3.3.2. Hàm khởi tạo trọng số ............................................................................................... 66
2.3.3.3. Thủ tục tính bước học vượt khe ................................................................................ 67
2.3.3.4. Thủ tục huấn luyện mạng, HUANLUYENVUOTKHE() ............................................ 69
2.3.4. Kết quả chạy chƣơng trình và so sánh ........................................................................ 69
2.3.4.1. Chạy chương trình ................................................................................................... 69
2.3.4.2. So sánh các phương án .............................................................................................. 73
2.4. Kết luận chƣơng 2 ....................................................................................................... 76
CHƢƠNG 3: ĐỀ XUẤT MÔ HÌNH KẾT HỢP THUẬT DI TRUYỀN VÀ THUẬT
TOÁN VƢỢT KHE ĐỂ CẢI TIẾN QUÁ TRÌNH HỌC CỦA MẠNG NƠRON MLP
CÓ MẶT LỖI ĐẶC BIỆT ................................................................................................ 77
3.1. Đặt vấn đề ................................................................................................................... 77
3.1.1. Khảo sát độ hội tụ của quá trình luyện mạng nơron bằng kỹ thuật lan truyền ngƣợc
nguyên thủy với các bộ khởi tạo trọng số ban đầu khác nhau .............................................. 77
3.1.2. Khảo sát độ hội tụ của quá trình luyện mạng nơron có mặt lỗi đặc biệt bằng kỹ thuật lan
truyền ngƣợc kết hợp thuật toán vƣợt khe với các bộ khởi tạo trọng số ban đầu khác nhau 80
3.2. Đề xuất mô hình kết hợp giải thuật di truyền và thuật toán vƣợt khe trong quá
trình luyện mạng nơron ................................................................................................... 83
3.2.1. Đặt vấn đề ................................................................................................................... 83
3.2.2. Thuật toán . ................................................................................................................. 87
3.3. Áp dụng mô hình kết hợp giải thuật di truyền và thuật toán vƣợt khe trong quá
trình luyện mạng nơron vào bài toán nhận dạng ........................................................... 91
3.4. Kết luận chƣơng 3 ...................................................................................................... 94
KẾT LUẬN CHUNG VÀ ĐỀ XUẤT HƢỚNG NGHIÊN CỨU .................................. 95
2
Luận án Tiến sĩ Kỹ thuật
2013
CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ ............................................................................... 99
TÀI LIỆU THAM KHẢO ............................................................................................... 100
PHỤ LỤC 1....................................................................................................................... 106
3
Luận án Tiến sĩ Kỹ thuật
2013
DANH MỤC BẢNG BIỂU, HÌNH VẼ
Bảng 2.1. Các hàm kích hoạt (transfer function) tiêu biểu .................................. 64
Bảng 2.2: Tập hồ sơ mẫu đầu vào {0 1 2 3 4 5 6 7 8 9} ...................................... 74
Bảng 2.3: Tập hồ sơ mẫu đầu vào {! @ # $ % ^ & * ( )} .................................... 75
Bảng 3.1. Kết quả khi nhận dạng hệ thống phi tuyến tĩnh ................................... 79
Bảng 3.2: Kết quả khi nhận dạng hệ thống động học phi tuyến .......................... 80
Bảng 3.3: Kết quả khi nhận dạng hệ thống có mặt lỗi dạng lòng khe ................. 82
Bảng 3.4. So sánh GA và BP với sai số là 0.1 ..................................................... 85
Bảng 3.5: So sánh GA và BP với sai số là 0.001 ................................................. 86
Bảng 3.6: So sánh GA và BP với sai số khác nhau ............................................. 86
Hình 1.1. Điều khiển theo nguyên tắc phản hồi đầu ra ....................................... 15
Hình 1.2: Mô hình nhận dạng cơ bản .................................................................. 18
Hình 1.3. Mặt sai số dạng lòng khe ..................................................................... 19
Hình 1.4: Kỷ nguyên luyện mạng ví dụ 1 ............................................................. 24
Hình 1.5: Cấu trúc mạng nơron cho nhận dạng chữ ........................................... 25
Hình 1.6: Kết quả luyện mạng nơron với các phương pháp lan truyền ngược khác
nhau (traingd, traingdm, traindx, trainda) .......................................................... 26
Hình 2.1: Quỹ đạo dao động với sai số dạng lòng khe ........................................ 42
Hình 2.2: Hàm khe ............................................................................................... 48
Hình 2.3: Xác định bước vượt khe v .................................................................. 50
Hình 2.4: Lưu đồ thuật toán tính bước vượt khe.................................................. 54
Hình 2.5: Bước lặp k = 1 ..................................................................................... 55
Hình 2.6:Các đường đồng mức dạng khe ............................................................ 57
Hình 2.7:Lưu đồ thuật toán huấn luyện mạng nơron với bước học vượt khe...... 58
Hình 3.1: Sơ đồ thuật toán kết hợp giải thuật vượt khe và di truyền cho luyện mạng
MLP ...................................................................................................................... 90
Hình 3.2: Hoạt động của mạng MLP cải tiến ...................................................... 93
Hình a: So sánh hoạt động của mạng MLP thuần túy và MLP cải tiến .............. 97
4
Luận án Tiến sĩ Kỹ thuật
2013
CÁC TỪ VIẾT TẮT
ADLINE
ADAptive Linear Neural, mạng tuyến tính thích nghi đơn lớp
ANN
Artificial Neural Network, mạng nơron nhân tạo
BP
BackPropagation, lan truyền ngƣợc
BPTT
BackPropagation -Through-Time, lan truyền ngƣợc xuyên tâm
LDDN
Layered Digital Dynamic Network, mạng nơron động
LMS
Least Mean Square, trung bình bình phƣơng nhỏ nhất
NNs
Neural NetworkS, mạng nơron
RTRL
Real-Time Recurrent Learning, thuật học hồi qui thời gian thực
SDBP
Steepest Descent BackPropagation, kỹ thuật lan truyền ngƣợc
giảm dốc nhất
OBP
Optical BackPropagation, kỹ thuật lan truyền ngƣợc “tốc độ
ánh sáng”
VLBP
Variable Learning rate BackPropagation algorithm, kỹ thuật
lan truyền ngƣợc với tốc độ học thay đổi.
MLP
MultiLayer Perceptron, mạng truyền thẳng nhiều lớp
GA
Genetic Algorithms, giải thuật di truyền
5
nguon tai.lieu . vn
2013
MỤC LỤC
MỞ ĐẦU ............................................................................................................................... 7
CHƢƠNG 1 : MẠNG NƠRON VÀ QUÁ TRÌNH HỌC CỦA MẠNG NƠRON ................ 12
1.1. Giới thiệu về mạng nơron và quá trình học của mạng nơron ............................... 12
1.1.1. Mạng nơron và các phƣơng pháp học ......................................................................... 12
1.1.2. Đánh giá các nhân tố của quá trình học ....................................................................... 13
1.1.2.1. Khởi tạo các trọng số ................................................................................................ 13
1.1.2.2. Bước học α .............................................................................................................. 13
1.1.2.3. Hằng số quán tính .................................................................................................... 14
1.2. Nhận dạng hệ thống sử dụng mạng nơron ......................................................
14
1.2.1. Nhận dạng hệ thống .................................................................................................... 14
1.2.2. Nhận dạng hệ thống sử dụng mạng nơron ................................................................... 16
1.3. Mặt lỗi đặc biệt khi luyện mạng nơron .................................................................... 19
1.3.1. Mặt lỗi đặc biệt khi luyện mạng nơron ....................................................................... 19
1.3.2. Ví dụ về bài toán dẫn đến mặt lỗi đặc biệt ................................................................... 20
1.4. Mô phỏng quá trình luyện mạng nơron khi sử dụng Toolbox của Matlab
22
1.4.1. Ví dụ với mạng nơron có mặt lỗi bình thƣờng ............................................................ 22
1.4.2. Ví dụ với mạng nơron có mặt lỗi đặc biệt .................................................................... 25
1.5. Tổng quan về tình hình nghiên cứu trong và ngoài nƣớc
26
1.5.1. Điểm qua một số công trình nghiên cứu về mạng nơron và ứng dụng ........................ 26
1.5.2. Các công trình trong và ngoài nƣớc nghiên cứu về thuật toán học của mạng nơron ... 31
1.5.3. Bàn luận ...................................................................................................................... 37
1.6. Kết luận chƣơng 1 ....................................................................................................... 38
CHƢƠNG 2: THUẬT TOÁN VƢỢT KHE TRONG QUÁ TRÌNH LUYỆN MẠNG NƠRON
............................................................................................................................................. 40
2.1. Thuật toán vƣợt khe .................................................................................................. 40
2.1.1. Đặt vấn đề .................................................................................................................. 40
2.1.2. Tính hội tụ và điều kiện tối ƣu ..................................................................................... 41
2.1.3. Thuật toán vƣợt khe .................................................................................................... 46
2.1.3.1. Giới thiệu ................................................................................................................. 47
2.1.3.2. Nguyên lý vượt khe .................................................................................................... 48
1
Luận án Tiến sĩ Kỹ thuật
2013
2.1.3.3. Xác định bước vượt khe ............................................................................................. 51
2.1.3.4. Ví dụ ........................................................................................................................ 54
2.2 Ứng dụng thuật toán vƣợt khe trong quá trình luyện mạng nơron ........................ 56
2.3 Minh họa thuật toán .................................................................................................... 58
2.3.1. Công tác chuẩn bị ........................................................................................................ 58
2.3.1.1. Điều chỉnh trọng số lớp ra ........................................................................................ 59
2.3.1.2. Điều chỉnh trọng số lớp ẩn ......................................................................................... 60
2.3.2. Cấu trúc mạng............................................................................................................. 62
2.3.3. Các thƣ viện và hàm mạng .......................................................................................... 64
2.3.3.1. Thư viện ................................................................................................................... 64
2.3.3.2. Hàm khởi tạo trọng số ............................................................................................... 66
2.3.3.3. Thủ tục tính bước học vượt khe ................................................................................ 67
2.3.3.4. Thủ tục huấn luyện mạng, HUANLUYENVUOTKHE() ............................................ 69
2.3.4. Kết quả chạy chƣơng trình và so sánh ........................................................................ 69
2.3.4.1. Chạy chương trình ................................................................................................... 69
2.3.4.2. So sánh các phương án .............................................................................................. 73
2.4. Kết luận chƣơng 2 ....................................................................................................... 76
CHƢƠNG 3: ĐỀ XUẤT MÔ HÌNH KẾT HỢP THUẬT DI TRUYỀN VÀ THUẬT
TOÁN VƢỢT KHE ĐỂ CẢI TIẾN QUÁ TRÌNH HỌC CỦA MẠNG NƠRON MLP
CÓ MẶT LỖI ĐẶC BIỆT ................................................................................................ 77
3.1. Đặt vấn đề ................................................................................................................... 77
3.1.1. Khảo sát độ hội tụ của quá trình luyện mạng nơron bằng kỹ thuật lan truyền ngƣợc
nguyên thủy với các bộ khởi tạo trọng số ban đầu khác nhau .............................................. 77
3.1.2. Khảo sát độ hội tụ của quá trình luyện mạng nơron có mặt lỗi đặc biệt bằng kỹ thuật lan
truyền ngƣợc kết hợp thuật toán vƣợt khe với các bộ khởi tạo trọng số ban đầu khác nhau 80
3.2. Đề xuất mô hình kết hợp giải thuật di truyền và thuật toán vƣợt khe trong quá
trình luyện mạng nơron ................................................................................................... 83
3.2.1. Đặt vấn đề ................................................................................................................... 83
3.2.2. Thuật toán . ................................................................................................................. 87
3.3. Áp dụng mô hình kết hợp giải thuật di truyền và thuật toán vƣợt khe trong quá
trình luyện mạng nơron vào bài toán nhận dạng ........................................................... 91
3.4. Kết luận chƣơng 3 ...................................................................................................... 94
KẾT LUẬN CHUNG VÀ ĐỀ XUẤT HƢỚNG NGHIÊN CỨU .................................. 95
2
Luận án Tiến sĩ Kỹ thuật
2013
CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ ............................................................................... 99
TÀI LIỆU THAM KHẢO ............................................................................................... 100
PHỤ LỤC 1....................................................................................................................... 106
3
Luận án Tiến sĩ Kỹ thuật
2013
DANH MỤC BẢNG BIỂU, HÌNH VẼ
Bảng 2.1. Các hàm kích hoạt (transfer function) tiêu biểu .................................. 64
Bảng 2.2: Tập hồ sơ mẫu đầu vào {0 1 2 3 4 5 6 7 8 9} ...................................... 74
Bảng 2.3: Tập hồ sơ mẫu đầu vào {! @ # $ % ^ & * ( )} .................................... 75
Bảng 3.1. Kết quả khi nhận dạng hệ thống phi tuyến tĩnh ................................... 79
Bảng 3.2: Kết quả khi nhận dạng hệ thống động học phi tuyến .......................... 80
Bảng 3.3: Kết quả khi nhận dạng hệ thống có mặt lỗi dạng lòng khe ................. 82
Bảng 3.4. So sánh GA và BP với sai số là 0.1 ..................................................... 85
Bảng 3.5: So sánh GA và BP với sai số là 0.001 ................................................. 86
Bảng 3.6: So sánh GA và BP với sai số khác nhau ............................................. 86
Hình 1.1. Điều khiển theo nguyên tắc phản hồi đầu ra ....................................... 15
Hình 1.2: Mô hình nhận dạng cơ bản .................................................................. 18
Hình 1.3. Mặt sai số dạng lòng khe ..................................................................... 19
Hình 1.4: Kỷ nguyên luyện mạng ví dụ 1 ............................................................. 24
Hình 1.5: Cấu trúc mạng nơron cho nhận dạng chữ ........................................... 25
Hình 1.6: Kết quả luyện mạng nơron với các phương pháp lan truyền ngược khác
nhau (traingd, traingdm, traindx, trainda) .......................................................... 26
Hình 2.1: Quỹ đạo dao động với sai số dạng lòng khe ........................................ 42
Hình 2.2: Hàm khe ............................................................................................... 48
Hình 2.3: Xác định bước vượt khe v .................................................................. 50
Hình 2.4: Lưu đồ thuật toán tính bước vượt khe.................................................. 54
Hình 2.5: Bước lặp k = 1 ..................................................................................... 55
Hình 2.6:Các đường đồng mức dạng khe ............................................................ 57
Hình 2.7:Lưu đồ thuật toán huấn luyện mạng nơron với bước học vượt khe...... 58
Hình 3.1: Sơ đồ thuật toán kết hợp giải thuật vượt khe và di truyền cho luyện mạng
MLP ...................................................................................................................... 90
Hình 3.2: Hoạt động của mạng MLP cải tiến ...................................................... 93
Hình a: So sánh hoạt động của mạng MLP thuần túy và MLP cải tiến .............. 97
4
Luận án Tiến sĩ Kỹ thuật
2013
CÁC TỪ VIẾT TẮT
ADLINE
ADAptive Linear Neural, mạng tuyến tính thích nghi đơn lớp
ANN
Artificial Neural Network, mạng nơron nhân tạo
BP
BackPropagation, lan truyền ngƣợc
BPTT
BackPropagation -Through-Time, lan truyền ngƣợc xuyên tâm
LDDN
Layered Digital Dynamic Network, mạng nơron động
LMS
Least Mean Square, trung bình bình phƣơng nhỏ nhất
NNs
Neural NetworkS, mạng nơron
RTRL
Real-Time Recurrent Learning, thuật học hồi qui thời gian thực
SDBP
Steepest Descent BackPropagation, kỹ thuật lan truyền ngƣợc
giảm dốc nhất
OBP
Optical BackPropagation, kỹ thuật lan truyền ngƣợc “tốc độ
ánh sáng”
VLBP
Variable Learning rate BackPropagation algorithm, kỹ thuật
lan truyền ngƣợc với tốc độ học thay đổi.
MLP
MultiLayer Perceptron, mạng truyền thẳng nhiều lớp
GA
Genetic Algorithms, giải thuật di truyền
5