Xem mẫu
- Nghiên cứu khoa học công nghệ
Sè L¦îNG N¥-RON TRONG LíP ÈN KHI øNG DôNG
M¹NG N¥-RON HIÖU CHØNH GI¶N §å
H¦íNG ANTEN M¹NG
LÊ DUY HIỆU, HÀ HUY DŨNG, BÙI CÔNG PHƯỚC, CAO VIỆT LINH
Tóm tắt: Hiện nay ứng dụng mạng nơ-ron trong việc hiệu chỉnh giản đồ hướng
anten mạng đã được thực hiện cả trong phát triển lý thuyết và trong thực tế. Quá
trình hoàn thiện các cấu trúc mạng nơ-ron phù hợp cho khả năng tích hợp với hệ
thống anten mạng mở ra một số bài toán cần phải được xem xét kĩ lưỡng. Một trong
những bài toán quan trọng nhất trong thiết kế mạng nơ-ron đó là số lượng các nơ-
ron của các lớp ẩn phù hợp với ứng dụng cụ thể. Bài báo đưa ra một mô hình mạng
nơ-ron thực hiện chức năng hiệu chỉnh giản đồ hướng trong hệ thống anten mạng và
các khảo sát định tính cũng như định lượng việc tính toán số lượng nơ-ron đối với
lớp ẩn của mạng nơ-ron.
Từ khóa: Mạng nơ-ron, Cấu trúc mạng nơ-ron, Số lượng nơ-ron.
1. ĐẶT VẤN ĐỀ
Mạng nơ-ron trong hiệu chỉnh giản đồ hướng hệ thống anten mạng đóng vai
trò như một bộ tự động hiệu chỉnh thích nghi. Hoạt động của mạng tùy vào sự thiết
kế có thể đáp ứng các tiêu chí như:
- Đảm bảo sự chính xác của tổ hợp tín hiệu kích thích các phần tử phát xạ
theo các điều khiển chuẩn;
- Tự động hiệu chỉnh giản đồ hướng phù hợp với những tác động trong
không gian hoạt động như chế áp búp sóng phụ, bù suy hao tín hiệu, chế áp búp
sóng chính khi cần tránh vùng không gian bị nhiễu quá lớn . . .
Để thực hiện được chức năng nêu trên mạng nơ-ron sẽ tiến hành lấy mẫu giản
đồ hướng từ tín hiệu thu về, từ đó đưa ra các đánh giá và tiến hành điều chỉnh lại
các trọng số nơ-ron trong cấu trúc mạng. Mô hình tích hợp mạng nơ-ron và hệ
thống anten mạng được trình bày tổng quan trên hình 1.
H×nh 1. M« h×nh tæng qu¸t hÖ thèng anten m¹ng tÝch hîp m¹ng n¬ -ron.
Tạp chí Nghiên cứu KH&CN quân sự, Số 32, 08 - 2014 29
- Ra đa
Mạng nơ-ron tổng quát hay một hệ thống thích nghi có khả thay thay đổi cấu
trúc hoặc biến đổi các thông tin bên trong của nó, độ tin cậy của mạng được quyết
định bởi:
- Cấu trúc mạng (số lớp, loại mạng . . .);
- Số nơ-ron trong lớp ẩn;
- Các hàm hoạt động (tuyến tính, phi tuyến, giới hạn cứng …)
- Đầu vào (cấu trúc, dải động . . .)
- Thuật toán cập nhật trọng số.
Trong một ứng dụng cụ thể một cấu trúc mạng tối ưu và các hàm hoạt động
phù hợp được thiết kế ngay từ đầu và không thay đổi được trong quá trình thích
nghi, điều này cũng tương tự như các thiết kế cấu trúc đầu vào, đầu ra của hệ
thống. Chính vì điều này nên các nghiên cứu về mạng nơ-ron trong 20 năm gần
đây chủ yếu tập trung vào việc tối ưu số nơ-ron trong lớp ẩn và thuật toán cập nhật
trọng số của mạng [1].
Bài toán được đặt ra đó là khả năng đảm bảo sự hiệu chỉnh nhằm đạt được
mức sai số trong giới hạn thời gian đặt trước. Bài báo này sẽ giới thiệu các kết quả
định tính về số nơ-ron trong lớp ẩn và các tính toán định lượng quá trình cập nhật
trọng số mạng nơ-ron có cấu trúc phản hồi. Kết quả kiểm nghiệm sẽ được thực
hiện mô phỏng trên Matlab.
2. ƯỚC LƯỢNG SỐ NƠ-RON TRONG LỚP ẨN VÀ CÔNG THỨC
CẬP NHẬT TRỌNG SỐ TỐI ƯU.
2.1 Ước lượng số nơ-ron trong lớp ẩn
Việc lựa chọn ngẫu nhiên một số nơ-ron trong lớp ẩn sẽ dẫn tới các vấn đề như
tràn (overfitting) trong tính toán hoặc không đủ khả năng hội tụ các trọng số
(underfitting). Một số nơ-ron lớp ẩn tối ưu với ứng dụng là một thách thức không
nhỏ trong ổn định khả năng làm việc cũng như độ chính xác của mạng nơ-ron.
Các công trình nghiên cứu nhằm cố định số lượng nơ-ron trong lớp ẩn bắt đầu
có những công bố vào năm 1995 bởi Li và các cộng sự với mạng nơ-ron truyền
thẳng với mục đích tính ra được số nơ-ron lớp ẩn vừa đủ cho mạng [2]. Năm 1997
Tamura và Tateishi đưa ra công thức định tính cho số lượng nơ-ron lớp ẩn 1 và lớp
ẩn 2 lần lượt là N -1; N/2 +3 (N là số đầu vào) dựa theo tiêu chuẩn thông tin
Akaike [3]. Công thức này được tổng quát hóa bởi Shibata và Ikeda, theo đó số
lượng nơ-ron lớp ẩn bằng (Ni, No lần lượt là số nơ-ron đầu vào và số nơ-ron
đầu ra) [4]. Đặc điểm của những công bố trước năm 2005 đó là kết quả thu được
chủ yếu nhờ quá trình khảo sát thực nghiệm.
Năm 2008 Jiang đã công bố về định mức khoảng giới hạn số lượng nơ-ron lớp
ẩn dựa vào lý thuyết hội tụ, công bố này đã đưa ra những lập luận chặt chẽ cho tính
toán. Theo Jiang giới hạn dưới của số lượng nơ-ron lớp ẩn tác động đến khả năng
điều chỉnh tốc độ của mạng và giới hạn trên của số nơ-ron tác động đến điều kiện
hội tụ của mạng nơ-ron [5]. Các nghiên cứu mới nhất hiện nay đã đưa ra các thuật
toán tổng quát và phức tạp hơn với sự tham gia của các tham số về cấu hình mạng
và thuật toán cập nhật trọng số của các nơ-ron, có thể kể đến như các nghiên cứu
của Doukim năm 2011 và Hunter vào năm 2012 [6]. Việc xây dựng một công thức
30 L. D. Hiệu, H. H. Dũng, B. C. Phước, C. V. Linh,“Số lượng nơron… anten mạng.”
- Nghiên cứu khoa học công nghệ
toán học hay một thuật toán cập nhật trọng số mạng nơ-ron sẽ mang một ý nghĩa
định lượng đối với các công bố về phương pháp tính toán số lượng nơ-ron trong
lớp ẩn. Trong bài báo này chúng ta sẽ thực hiện xây dựng một công thức toán học
phù hợp với khả nang tính toán thực tế đối với một mạng truyền thẳng 2 lớp, từ đó
rút ra một số đánh giá cơ bản đối với số lượng nơ-ron trong lớp ẩn.
2.2 Công thức cập nhật trọng số tối ưu
Cấu trúc mạng nơ-ron phù hợp nhất đối với chức năng hiệu chỉnh giản đồ
hướng anten mạng đó là mạng nơ-ron truyền thẳng, thực hiện theo mô hình lan
truyền ngược với cấu trúc gồm 3 lớp (lớp vào; lớp ẩn; lớp ra), hàm truyền đạt được
sử dụng đảm bảo khả năng chuyển đổi phi tuyến [7]. Cấu trúc mạng như vậy đã
được kiểm chứng sự phù hợp qua lý thuyết cũng như thực tế và là cấu trúc mạng
được sử dụng trong bài báo. Mạng truyền thẳng 3 lớp phi tuyến giúp cho mạng nơ-
ron có thể thực hiện thao tác hiệu chỉnh trong giới hạn thời gian cho phép. Các
thay đổi trọng số nơ-ron được thực hiện nhờ sự phản hồi sai số trên kênh phản hồi
ngược. Hình 2 mô tả cấu trúc tổng quát của mạng này.
Lớp ẩn Lớp ra
x a1 y
IW 1,1 LW 2,1
V N M
Nx V MxN
s(1) σ s(2) σ
1 2
N M
1 b (1) 1 b (2)
V N N M
H×nh 2. CÊu tróc m¹ng n¬-ron víi N n¬-ron líp Èn vµ M ®Çu ra.
Trong cấu trúc mạng nơ-ron như mô tả trên hình 2, để phục vụ quá trình trọng
tâm là tính toán cập nhật trọng số một số định nghĩa ban đầu được đưa ra như sau:
- Vec-tơ đầu ra mong muốn : d(k) = [d1(k) d2(k) . . . dM(k)]T ;
- Các trọng số tương ứng với nơ-ron(1, i) trong lớp ẩn (i = 1,2, ... ,N):
( ) ( ) ( ) ( ) ( ) ( ) ( )
w , w , …, w , được biểu diễn w = w w …w ∈ℜ
- Các trọng số tương ứng với nơ-ron(2, j) trong lớp ra (j = 1, 2, . . , M) :
( ) ( ) ( ) ( ) ( ) ( ) ( )
w ,w , …, w , ®îc biÓu diÔn w = w w …w ∈ℜ
Lưu ý dãy chỉ số trên đại diện cho thứ tự lớp, chỉ số dưới thứ nhất biểu thị vị
trí nơ-ron trong lớp, chỉ số dưới thứ hai đại diện cho số đầu vào liên quan đến trọng
số. Từ các biểu diễn trên ta xây dựng được ma trận trọng số đối với mỗi lớp, các
tham số độ dịch b(1) , b(2) lúc này được thêm vào:
( ) ( ) ( )
⎡b w w … w( )⎤
( ) ( ) ( ) ( ) ( ) ⎢b( ) w ( ) w ( ) … w ( ) ⎥
W = w w w …w =⎢ ⎥
⋱ ⋮ ⎥ (1)
⎢ ( ) ⋮ ( )⋮ ( ) ( )
⎣b w w … w ⎦
Tạp chí Nghiên cứu KH&CN quân sự, Số 32, 08 - 2014 31
- Ra đa
( ) ( ) ( ) ( )
⎡b w w … w ⎤
⎢ ( ) ( ) ( ) … ( )⎥
= ⎢b w w w
( ) ( ) ( ) ( ) ( )
W = w w w …w
⋱ ⋮ ⎥⎥ (2)
⎢ ( ) ⋮ ( )⋮ ( ) ( )
⎣b w w … w ⎦
- và , tương ứng là
l các đầu ra bộ cộng tuyến tính của nơ--ron (1,i) và
nơ-ron (2,j). và là các đạo hàm riêng Các giá trị đầuu ra tương ứng sau
hàm truyền đạt (.) lần lư
ượt là zi và yj (trong các công thức
ức chỉ số a đại diện cho
vec-tơ cột):
Nơ-ron (1, i)- Lớp vào: (3)
Nơ-ron (2, j)- Lớp ra : (4)
- Sai sốố tức thời của mạng được
đ lựa chọn theo tiêu chuẩn LMS:
Sự xem xét mạng nơ-ron ron với
v các thành phần được rời rạc hóa như trên tuân
thủủ theo quy tắc Delta tổng quát. Quy tắc này
n thực hiện quá trình tối ưu sai ssố đầu
ra (E) với
ới kỹ thuật cực tiểu hàm
h sai số, điều này trong mạng nơ-ron đồng ồng nghĩa với
quá trình điều chỉnh vec-tơtơ trọng
tr số sao cho hàm sai sốố giảm tỉ lệ thuận vớ
với độ dốc
âm ( )của hàm sai số. ố. Các khoảng cập nhật trọng số được
đ ợc tính theo (6) cho lớp ẩn
và (7) cho lớp ra ( -tham
tham số
s tỉ lệ luyện):
Công thức
ức cập nhật trọng số lớp ẩn mạng nơ-ron
n tại
ại các thời điểm tuần tự (k,
k+1) được viết như sau:
Kết hợp (3) vàà (6), công thức
th (8) được viết lại phù hợp
ợp với khả năng tính toán
thực tế:
32 L. D. Hiệu,
ệu, H. H. Dũng,
D B. C. Phước, C. V. Linh,“Số lượng nơron… anten m
mạng.”
- Nghiên cứu
ứu khoa học công nghệ
Tương tự,
ự, chúng ta có công thức cập nhật trọng số đối với lớp ra:
Công thức (9) vàà (10) cho phép sử s dụng các tính toán theo các thu
thuật toán hồi
tiếp đệ qui và các thuật ật toán lặp để thu được
đ ợc kết quả mong muốn. Xét về khối
lượng
ợng tính toán có thể thấy việc tăng số lượng
l nơ-ron trong lớp
ớp ẩn sẽ cần phải giảm
bớt số trọng số của nơ-ron.. Theo các tiêu chuẩn
chuẩn về hội tụ chúng ta thấy để các phép
tính trong các công thức
ức (9), (10) có thể thực hiện được
đ với những số lưượng nơ-ron
lớp ẩn nằm ngoài khoảngảng cho phép màm Jiang đã công bốố năm 2008 đó llà số nơ-ron
lớp
ớp ẩn chỉ nằm trong khoảng [N-1,[N 2N] (với N là số đầu vào). Sự ự kiểm nghiệm
điều này đượcợc mô phỏng trêntr Matlab, vớiới các số liệu mang tính thống kkê sẽ được
trình bày trong phần
ần tiếp theo.
3. KẾT
ẾT QUẢ MÔ PHỎNG VÀ
V KẾT LUẬN
Mộtột cấu trúc mạng truyền thẳng hai lớp, sử dụng trong hiệu chỉnh giản đồ
hướng
ớng anten mạng 16 phần tử có số đầu vàov và đầuầu ra đều bằng 16. Quá trtrình kiểm
tra sẽ lần lượt
ợt thay đổi số lượng
l nơ-ron của lớp ẩn và ghi lại
ại sai lệch giữa giản đồ
hướng được tái tạo bởiởi mạng nơ-ron và giản đồ hướng ớng chuẩn. Bảng 1 llà kết quả
(rút gọn)
ọn) của thực nghiệm này,n quan sát trực
ực quan mối quan hệ giữa sai số mạng
nơ-ron và số lượng nơ-ron trong lớp
l ẩn được thể hiện trong hình 3.
Bảng 1. Mức
ức lỗi tối thiểu trung bình
b theo số lượng nơ-ron
ron trong llớp ẩn.
Số TT Số nơ-ron trong lớp ẩn Mức
ức sai số tối thiểu
1 1 0.395
2 7 0.186
13 13 0.0414
14 14 0.0218
15 15 2.10-55
21 21 1.10-55
30 30 7.10-66
54 54 7.10-66
55 55 1.10-55
57 57 8.10-55
61 61 3.10-44
68 68 6.10-33
75 75 1.10-22
76 76 1.10-22
77 77 1.10-22
78 78 1.10-22
99 99 7.10-22
100 100 9.10-22
Tạp chí Nghiên cứu KH&CN quân
uân sự,
s Số 32, 08 - 2014 33
- Ra đa
Hình 3. Đồ thị quan hệ giữa số nơ-ron trong lớp ẩn và mức sai số trung bình.
Đồ thị trên hình 3 cho thấy số lượng nơ-ron phù hợp với lượng đầu vào bằng
16 nằm trong giải từ 15 đến 55, khoảng này bao trùm lên các cách tính ước lượng
số nơ-ron đã được công bố, số lượng nơ-ron có thể vượt qua khoảng ước lượng có
thể được giải thích nhờ khả năng xử lý toán học và độ hội tụ của các công thức cập
nhật trọng số tối ưu đối với cấu trúc mạng anten. Khả năng nâng cao sự co dãn của
khoảng số nơ-ron trong lớp ẩn có ý nghĩa lớn trong ứng dụng thực tế, điều này
giúp cho các thiết kế cấu trúc mạng không bị quá cứng nhắc trong việc ràng buộc
số lượng nơ-ron lớp ẩn với số đầu vào. Với một khoảng rộng hơn trong việc lựa
chọn số lượng nơ-ron của lớp ẩn cho phép một cấu trúc mạng nơ-ron có thể đáp
ứng được nhiều ứng dụng hơn, ví dụ đối với cấu trúc mạng nơ-ron trong hiệu chỉnh
giản đồ hướng anten mạng khi chọn số nơ-ron lớp ẩn là 32 sẽ đảm bảo khả năng áp
dụng cho các mạng anten có số phần tử nằm trong một dải rộng từ 13-32 phần tử.
TÀI LIỆU THAM KHẢO
[1]. K.Gnana Sheela and S.N.Deepa "Review on Methods to fix number of hidden
neurons in Neural Network.", Mathematical Problems in Engineering,
pp.11,2013.
[2]. J. Y. Li, T. W. S. Chow, and Y. L. Yu, “Estimation theory and optimization
algorithm for the number of hidden units in the higher-order feedforward
neural network,” in Proceedings of the IEEE Inter. Conf. on Neural Networks,
vol. 3, pp. 1229–1233, December 1995.
[3]. S. Tamura and M. Tateishi, “Capabilities of a four-layered feedforward neural
network: four layers versus three,” IEEE Trans. on Neural Networks, vol. 8,
no. 2, pp. 251, 1997.
[4]. K. Shibata and Y. Ikeda, “Effect of number of hidden neurons on learning in
large-scale layered neural networks,” in Proceedings of the ICROS-SICE
International Joint Conference 2009 (ICCAS-SICE '09), pp. 5008–5013,
August 2009.
[5]. N. Jiang, Z. Zhang, X. Ma, and J. Wang, “The lower bound on the number of
hidden neurons in multi-valued multi-threshold neural networks,” in
34 L. D. Hiệu, H. H. Dũng, B. C. Phước, C. V. Linh,“Số lượng nơron… anten mạng.”
- Nghiên cứu khoa học công nghệ
Proceedings of the 2nd International Symposium on Intelligent Information
Technology Application (IITA '08), pp. 103–107, December 2008.
[6]. D. Hunter, H. Yu, M. S. Pukish III, J. Kolbusz, and B. M. Wilamowski,
“Selection of proper neural network sizes and architectures: a comparative
study,” IEEE Trans. on Industrial Informatics, vol. 8, pp. 228–240, 2012.
[7]. Fa Long Luo, Rolf Unbehauen,“Applied neural networks for signal
processing”, Cambridge University Press, pp.367, 1998.
ABSTRACT
THE NUMBER OF NEURONS IN HIDDEN LAYERS FOR NEURAL
APPLICATION IN ANTENNA ARRAY RADIATION
PATTERN CORRECTION
Recently, neural applications for antenna array radiation pattern correction are
realized not only in theoretical developments but also in practice. The process
optimizing neural network structures suitable for integrating capabilities into
antenna array systems leads to some problems that must be carefully considered.
One of the most important problems in designing a neural network is estimate the
suitable number neurons in hidden layers for a specific application. The paper
presented a neural network model for radiation pattern correction in antenna array
system, qualitative and quantitative investigations in calculating the suitable neuron
number for hidden layers in a neural network.
Keywords: Neural network, Neural network architecture, Number of neural.
Nhận bài ngày 15 tháng 06 năm 2014
Hoàn thiện ngày 20 tháng 07 năm 2014
Chấp nhận đăng ngày 02 tháng 08 năm 2014
Địa chỉ: Viện Ra đa, Viện KH & CNQS.
Tạp chí Nghiên cứu KH&CN quân sự, Số 32, 08 - 2014 35
nguon tai.lieu . vn
