Xem mẫu
- LUẬT HỌC PERCEPTRON
Nguyễn Thành Trung
Lớp :THB – K53
Khoa: Công nghệ thông tin
ĐH Nông nghiệp Hà Nội
- NỘI DUNG
• Mục tiêu
• Lý thuyết và ví dụ
• Luât học
• Kiến trúc Perceptron
Perceptron một noron
Perceptron nhiều noron
• Luật học Perceptron
Kiểm tra vấn đề
Xây dựng Luật học
Luật học thống nhất
Huấn luyện mạng perceptron nhiều noron
• Tóm tắt kết quả
• Bài tập mẫu
• Kết luận
- • Mục tiêu
Một trong những câu hỏi chúng tôi nêu ra trong
chương 3 là: "Làm thế nào để chúng ta xác định ma
trận trọng số và hệ số hiệu chỉnh cho các mạng
perceptron với nhiều đầu vào, trường hợp không thể
hình dung ranh giới quyết định?" Trong chương này,
chúng tôi sẽ mô tả một thuật toán cho phép đào tạo
mạng perceptron, để giải quyết vấn đề phân loại.
Chúng tôi sẽ bắt đầu bằng cách giải thích một luật
học và sau đó sẽ phát triển các luật học perceptron.
Chúng tôi sẽ kết thúc bằng việc thảo luận những lợi
thế và hạn chế của mạng perceptron đơn lớp. Thảo
luận này sẽ dẫn chúng ta đến các chương sau.
- • Lý thuyết và ví dụ
Trong năm 1943, Warren McCulloch và
Walter Pitts giới thiệu một trong những neuron
nhân tạo đầu tiên. Các tính năng chính của mô
hình neuron của họ là sự tổng hợp có trọng số
của tín hiệu đầu vào được so sánh với ngưỡng
để tìm đầu ra của neuron.
Khi tổng lớn hơn hoặc bằng ngưỡng, đầu ra
là 1. Khi tổng nhỏ hơn ngưỡng, đầu ra là 0.
Họ tiếp tục cho thấy mạng neuron có thể tính
toán số học hoặc hàm logic. Không giống như
các mạng sinh học, các thông số mạng của
chúng được thiết kế mà không có phương pháp
đào tạo có sẵn. Tuy nhiên, mối quan hệ giữa
sinh học và máy tính kỹ thuật số tạo ra rất nhiều
sự quan tâm.
- Trong cuối những năm 1950, Frank
Rosenblatt và một số nhà nghiên cứu khác phát
triển một lớp học về mạng neuron là
perceptrons. Các neuron trong mạng này cũng
tương tự như của McCulloch và Pitts. Đóng góp
quan trọng của Rosenblatt là giới thiệu một luật
học để huấn luyện các mạng perceptron để giải
quyết vấn đề nhận dạng mẫu. Ông đã chứng
minh rằng luật học của mình sẽ luôn luôn hội tụ
về các trọng số mạng chính xác, nếu trọng số
tồn tại để giải quyết vấn đề. Sự huấn luyện đã
được đơn giản và tự động.
- Tuy nhiên, mạng perceptron có nhiều hạn
chế. Những hạn chế này đã được công bố trong
cuốn Perceptrons của Marvin Minsky và Seymour
Papert.
Họ đã chứng minh rằng mạng perceptron đã
không có khả năng thực hiện một số chức năng
cơ bản. Mãi đến những năm 1980 những hạn
chế này mới được khắc phục với các mạng
perceptron cải tiến (nhiều lớp) và những luật học
liên quan. Chúng tôi sẽ nói về những cải tiến này
trong các chương 11 và 12.
- Ngày nay các perceptron vẫn còn được xem
như là một mạng quan trọng. Nó vẫn còn là một
mạng nhanh và đáng tin cậy cho các vấn đề mà
nó có thể giải quyết. Ngoài ra, sự hiểu biết về
hoạt động của perceptron sẽ tạo cơ sở tốt cho
sự hiểu biết các mạng lưới phức tạp hơn. Như
vậy, mạng perceptron, và các luật học liên quan ,
cũng có giá trị thảo luận ở đây.
Trong phần còn lại của chương này chúng tôi
sẽ xác định ý nghĩa của luật học, giải thích các
mạng perceptron và luật học, và thảo luận về
những hạn chế của mạng perceptron .
- • Luật học
Luật học là một thủ tục để sửa đổi các trọng
số và hệ số hiệu chỉnh của mạng neuron. (Thủ
tục này cũng có thể được gọi là một thuật toán
huấn luyện.) Mục đích của luật học là huấn luyện
mạng để thực hiện một số nhiệm vụ. Có nhiều
loại luật học huấn luyện mạng neuron. Chúng
gồm ba loại chính: luật học có giám sát, luật học
không giám sát và luật học gia tăng (hoặc phân
loại).
Trong luật học có giám sát, luật học đưa ra
một tập hợp các mẫu có quy tắc và tương thích
với mạng:
- pq là một đầu vào mạng và tq tương ứng với
đầu ra chính xác (mục tiêu). Khi các đầu vào
được áp dụng vào mạng, các kết quả đầu ra
mạng được so sánh với các mục tiêu. Luật học
sau đó được sử dụng để điều chỉnh trọng số và
hệ số hiệu chỉnh của mạng để dịch chuyển đầu
ra gần với các mục tiêu hơn. Luật học perceptron
được xếp vào loại luật học có giám sát.
Luật học gia tăng tương tự luật học có giám
sát, ngoại trừ việc, thay vì đưa ra các đầu ra
chính xác cho mỗi đầu vào mạng, thuật toán chỉ
cho một lớp. Lớp là thước đo cho sự hoạt động
của mạng trên một chuỗi đầu vào. Đây là loại
luật học hiện nay ít phổ biến hơn so với luật học
có giám sát. Nó dường như là phù hợp nhất để
kiểm soát các ứng dụng hệ thống.
- Luật học không giám sát, trọng số và hệ số
hiệu chỉnh được sửa đổi để đáp ứng với đầu vào
mạng. Có mục tiêu không là đầu ra có sẵn. Điều
này dường như không thực tế. Làm thế nào bạn
có thể huấn luyện một mạng nếu bạn không biết
nó phải làm gì? Hầu hết các thuật toán thực hiện
sự hoạt động phân cụm. Chúng được luyện để
phân loại các mô hình đầu vào thành một số hữu
hạn các lớp. Điều này đặc biệt hữu ích trong các
ứng dụng như là lượng tử hóa vector. Chúng ta
sẽ thấy trong các chương 13-16 một số thuật
toán không giám sát.
- • Kiến trúc Perceptron.
Các mạng nơron mà trong mỗi nơron chỉ được liên kết
với tất cả các nơron ở lớp kế tiếp và tất cả các mối liên kết
chỉ được xây dựng từ trái sang phải được gọi là mạng
nhiều lớp truyền thẳng (perceptrons)
Đầu ra của mạng được cho bởi:
- Để thuận tiện cho sự xem xét các phần tử riêng lẻ của
vector đầu ra. Hãy xem xét ma trận trọng số:
Chúng tôi sẽ xác định một vector gồm các phần tử của
hàng thứ i của W:
- ⇒ Ma trận trọng số trở thành:
⇒ Phần tử thứ i của vector đầu ra mạng:
Mà hàm truyền harlim được định nghĩa như sau:
- Vì vậy, tích trong hàng thứ i của ma trận
trọng số với vecto đầu vào lớn hơn hoặc bằng -
bi , thì đầu ra sẽ là 1, trái lại đầu ra sẽ là 0.
Vì thế mỗi neuron trong mạng chia không
gian đầu vào thành hai khu vực. Nó rất hữu ích
để điều tra các ranh giới giữa các khu vực
này. Chúng tôi sẽ bắt đầu với các trường hợp
đơn giản của một perceptron đơn lớp với hai đầu
vào.
- Perceptron đơn lớp
Chúng ta hãy xem xét một perceptron hai đầu vào:
Đầu ra của mạng này được xác định bởi
- Ranh giới phân loại các vector đầu vào được xác định
bởi:
Cụ thể hơn, chúng ta hãy chỉ định các giá trị của
trọng số và hệ số hiệu chỉnh là:
Ranh giới quyết định sẽ là:
- Điều này xác định 1 đường trong không gian đầu vào.
Trên một bên của đường đầu ra sẽ là 0 ; trên đường và
phía bên kia của đường đầu ra sẽ là 1. Để vẽ đường,
chúng ta có thể tìm những điểm cắt các trục p1 và p2 .
Để tìm điểm cắt p2 ta đặt p1 = 0:
Để tìm điểm cắt p1, ta đặt p2 = 0:
Để tìm ra khu vực mà đầu ra tương ứng là 1, chúng ta
chỉ cần kiểm tra một điểm. Đối với các đầu vào p = [2 0]T,
đầu ra của mạng sẽ là :
- Do đó, đầu ra của mạng sẽ là 1 đối với khu vực trên
và bên phải của ranh giới quyết định. Khu vực này được
chỉ định bởi các khu vực bóng mờ trong hình 4.3:
Lưu ý: Ranh giới luôn luôn là trực giao với 1w , và
được xác định bởi:
- Đối với tất cả các điểm nằm trên ranh giới, tích
trong của các vector đầu vào với các vector trọng
số là như nhau. Ngoài ra, bất kỳ vector trong khu
vực bóng mờ của hình 4.3 sẽ có tích trong lớn hơn
-b, và vector trong khu vực không có bóng mờ sẽ
có tích trong ít hơn -b . Vì vậy vector trọng số 1w sẽ
luôn luôn hướng về phía khu vực nơi mà đầu ra
của mạng là 1.
Sau khi chúng tôi đã chọn một vector trọng số
với định hướng góc chính xác, hệ số hiệu chỉnh có
thể được tính bằng cách chọn một điểm trên ranh
giới và thỏa mãn Eq. (4,15).
- Chúng ta sẽ áp dụng một trong những khái niệm thiết
kế mạng perceptron để thực hiện một hàm logic đơn giản:
các cổng AND. Các cặp đầu vào/mục tiêu cho các cổng
AND là:
Hình dưới minh họa cho vấn đề bằng đồ thị. Mỗi
vector đầu vào sẽ được dán nhãn theo mục tiêu. Các vòng
tròn đen chỉ ra rằng mục tiêu là 1, và các vòng tròn
trắng cho mục tiêu là 0.
nguon tai.lieu . vn
