Xem mẫu
- 230 KỶ YẾU HỘI THẢO KHOA HỌC QUỐC GIA 2018 “CNTT VÀ ỨNG DỤNG TRONG CÁC LĨNH VỰC
Một số giải pháp tối ưu tập luật mờ TSK trích xuất từ máy học véc-tơ
hỗ trợ hồi quy
Nguyễn Đức Hiển
Trường cao đẳng Công nghệ thông tin – Đại học Đà Nẵng
ndhien@cit.udn.vn
Tóm tắt. Trích xuất tập luật mờ TSK từ máy học véc-tơ hỗ trợ là một trong những hướng
tiếp cận để xây đựng mô hình mờ cho các bài toán dự đoán, dự báo. Những nghiên cứu
trước đây theo hướng tiếp cận này cho thấy mô hình mờ được huấn luyện tự động dựa trên
tập dữ liệu đầu vào, dẫn đến những hạn chế chủ yếu như kích thước tập luật lớn, thiếu đặc
trưng, thiếu tính bao phủ. Trong bài báo này, nhóm tác giả nghiên cứu đế xuất và thực
nghiệm một số giải pháp nhằm rút gọn, tối ưu tập luật mờ TSK trích xuất được nhưng vẫn
đảm bảo hiệu quả dự đoán, dự báo của mô mình.
Từ khóa: Mô hình mờ TSK, Máy học Véc-tơ hỗ trợ, Mô hình mờ hướng dữ liệu, Mô hình
dự báo hồi quy.
1 Đặt vấn đề
Mô hình mờ được biết đến như là một mô hình khá hiệu quả trong việc xử lý những thông
tin mơ hồ và không chắc chắn; đồng thời nó cũng thể hiện những lợi thế rõ ràng trong việc biểu
diễn và xử lý tri thức. Hoạt động của mô hình mờ phụ thuộc vào hệ thống các luật mờ và quá
trình suy diễn trên tập luật mờ đó. Đã có nhiều tác giả nghiên cứu và đề xuất các phương thức
để xây dựng các mô hình mờ hướng dữ liệu [3, 4, 5, 6, 7, 8, 9, 10].
Vấn đề trích xuất mô hình mờ từ máy học véc-tơ hỗ trợ (SVM – Support Vector Machine)
được nhóm tác giả J.-H Chiang và P.-Y Hao nghiên cứu và công bố lần đầu tiên vào năm 2004
[3]. Một trong những vấn đề của máy học véc-tơ hỗ trợ là tính chính xác của mô hình thu được
tỷ lệ thuận với số lượng support-vector (Sv) sinh ra; điều này đồng nghĩa với việc nếu tăng tính
chính xác của mô hình thì số lượng luật mờ của mô hình mờ trích xuất được cũng sẽ tăng lên.
Nói cách khác là khi tăng hiệu suất của mô hình thì đồng nghĩa với việc làm giảm tính “sáng
sủa” (tính “có thể hiểu được”) của mô hình. Như vậy vấn đề đặt ra là làm thế nào có thể trích
xuất được hệ thống mờ đảm bảo độ tin cậy của kết quả dự đoán, đồng thời hạn chế được số
lượng luật mờ trong mô hình. Trong bài báo này, chúng tôi đề xuất giải pháp tích hợp kỹ thuật
phân cụm k-Means để rút gọn tập luật mờ trích xất được, đồng thời đưa ra giải pháp lựa chọn
giá trị tối ưu của các tham số để có thể đảm bảo được độ tin cậy của kết quả dự đoán dựa vào
mô hình trích xuất được.
Các phần tiếp theo của bài báo bao gồm: phần 2 trình bày sơ lược về sự tương đương của mô
hình mờ TSK và máy học véc-tơ hỗ trợ làm cơ sở cho việc xây dựng thuật toán trích xuất mô
hình mờ; phần 3 giới thiệu thuật toán fm-SVM* cho phép trích xuất tập luật mờ rút gọn từ
SVM, trong đó có tích hợp kỹ thuật phân cụm k-Means; phần 4 giới thiệu một mô hình thực
nghiệm dự báo hồi quy, trong đó có kết hợp so sánh với một số kết quả của những mô hình đề
xuất trước đó. Cuối cùng, trong phần 5 chúng tôi nêu lên một số kết luận và định hướng nghiên
cứu tiếp theo.
- Nguyễn Đức Hiển 231
2 Trích xuất mô hình mờ TSK từ máy học vevcs-tơ hỗ trợ
Hệ thống mờ TSK bao gồm một tập các luật mờ “IF – THEN”, với phần kết luận của mỗi
luật này là một hàm (không mờ) ánh xạ từ các tham số đầu vào tới tham số đầu ra của mô hình
[3,4,5,6,10].
Giả sử có một hệ thống mờ TSK với m luật mờ được biểu diễn như sau:
j j j
R j : IF x1 is A1 and x2 is A2 and … and xn is An
THEN z = g j (x1 , x2 , … , xn ) , với j = 1, 2, … , m (1)
Trong đó xi (i = 1, 2, … . n) là các biến điều kiện; z là các biến quyết định của hệ thống mờ
j
được xác định bởi hàm g j (. ); Ai là những thuật ngữ ngôn ngữ xác định bởi hàm thành viên
tương ứng μAj (x). Lưu ý, μAj (x) là hàm thành viên mờ được xác định trên một véc-tơ nhiều
i i
chiều.
Đầu ra của hệ thống mờ được tính toán như sau:
j
∑m
j=1 z (μAj (x))
f(x) = (2)
∑m
j=1 μAj (x)
với
n
μAj (x) = ∏ μAj (xi ) (3)
i=1 i
j
Trong đó, z là giá trị đầu ra của hàm g j (. ).
Bên cạnh đó, với vai trò giải quyết vấn đề tối ưu hóa hồi quy, lý thuyết cơ bản của SVM có
thể được vắn tắt như sau [2,3,6,8]:
Cho một tập dữ liệu huấn luyện {(x1 , y1 ), … , (xl , yl )} ⊂ 𝒳 × ℝ, trong đó 𝒳 xác định miền
dữ liệu đầu vào. Với ε-Support Vector Regression, bài toán tối ưu hóa ràng buộc cần giải quyết
là:
l
1
min ∗ w T w + C ∑(ξi + ξ∗i ) (4)
w,b,ξ,ξ 2
i=1
T
Sao cho: (w . Φ(xi ) + b) − yi ≤ ε + ξi ,
yi − (w T . Φ(xi ) + b) ≤ ε + ξ∗i , với ξi , ξ∗i ≥ 0, và i = 1, 2, … , l
Trong đó, C là tham số chuẩn tắc, ε là sai số cho phép, ξi , ξ∗i là những biến lỏng, Φ(x) là hàm
ánh xạ phi tuyến tính để tiền xử lý dữ liệu phí tuyến tính đầ vào bằng cách ánh xạ và không gian
thuộc tính nhiều chiều ℱ.
Và từ đó đưa đến việc giải bài toán Quadratic Programming:
- 232 KỶ YẾU HỘI THẢO KHOA HỌC QUỐC GIA 2018 “CNTT VÀ ỨNG DỤNG TRONG CÁC LĨNH VỰC
𝑙
1
− ∑(αi − α∗i )(αj − α∗j )(Φ(xi )T . Φ(xj ))
2
𝑖,𝑗
max
∗ l l
(5)
α,α
− ε ∑(αi + α∗i ) − ∑ yi (αi + α∗i )
{ i=1 i=1
Sao cho:
l
∑(αi − α∗i ) = 0, and C ≥ αi , α∗i ≥ 0, i = 1, 2, … , l
i=1
Trong đó, αi , α∗i là những nhân tử Lagrange.
Véc-tơ w có dạng:
l
w = ∑(αi − α∗i ). xi (6)
i=1
Và hàm quyết định là:
l
f(x) = ∑(αi − α∗i ) (Φ(xi )T . Φ(xj )) + b (7)
i=1
Gọi K(xi , xj ) = Φ(xi )T . Φ(xj ) là hàm nhân của không gian đầu vào; và hàm quyết định (7)
được viết lại như sau:
l
f(x) = ∑(αi − α∗i )K(xi , x) + b (8)
i=1
Những điểm đầu vào xi với (αi − α∗i ) ≠ 0 được gọi là những véc-tơ hỗ trợ (Svi).
Xét hàm đầu ra của mô hình mờ TSK (2) và hàm quyết định của mô hình máy học Véc-tơ
hồi quy (8). Để (2) và (8) đồng nhất với nhau, trước tiên chúng ta phải đồng nhất giữa hàm nhân
trong (8) và hàm thành viên trong (2). Ở đây, để thỏa mãn điều kiện Mercer [1] hàm thành viên
Gauss được chọn làm hàm nhân; đồng thời giá trị của b trong (8) phải bằng 0.
Khi hàm Gauss được chọn làm hàm thành viên và hàm nhân, đồng thời số luật mờ bằng với
số véc-tơ hỗ trợ (m = l) thì hàm quyết định (8) trở thành:
l
1 xi − x 2
f(x) = ∑(αi − α∗i )exp (− ( ) ) (9)
2 σi
i=1
và hàm kết quả đầu ra suy luận mờ (2) trở thành:
1 x −x 2
∑lj=1 zj exp (− ( j
2 σj ) )
f(x) = (10)
1 xj − x 2
∑lj=1 exp (− (
2 σ ) ) j
Như cách biến đổi trong [8], hàm suy luận mờ (10) có thể viết lại như sau:
l 2
1 xj − x j
f(x) = ∑ z exp (− ( ) ) (11)
2 σj
j=1
- Nguyễn Đức Hiển 233
j
Và chúng ta chọn: z = (αi − α∗i ) (12)
Như vậy, trên cơ sở thỏa mãn các điều kiện để đồng nhất hàm đầu ra của SVMs và hệ thống
mờ TSK, chúng ta có thể trích xuất được mô hình mờ TSK từ máy học Véc-tơ hỗ trợ.
3 Thuật toán trích xuất mô hình mờ TSK có tích hợp một số giải pháp tối
ưu mô hình
3.1 Tối ưu hóa tham số các hàm thành viên
Những tham số của hàm thành viên có thể được tối ưu hóa dùng những thuật toán gradient
descent hoặc thuật toán di truyền (GAs). Trong trường hợp này, để nhận được tập mờ tối ưu,
chúng tôi cập nhật gía trị các tham số của hàm thành viên theo các hàm thích nghi sau đây:
(x − c)2 (x − c)2
σi (t + 1) = σi (t)δε1,i [ exp (− )] (13)
σ3 2σ2
−(x − c) (x − c)2
ci (t + 1) = ci (t)δε1,i [ exp (− )] (14)
σ2 2σ2
3.2 Lựa chọn tham số 𝛆
Một trong những đặc điểm của mô hình mờ là “tính có thể diễn dịch được” (intepretability)
[14]. Tuy nhiên, đối với mô hình máy học véc-tơ hỗ trợ nếu tăng tính chính xác của mô hình thì
số lượng véc-tơ hỗ trợ (SVs) cũng tăng lên, đồng nghĩa với số lượng luật mờ cũng tăng lên.
Điều này làm cho tính phức tạp của hệ thống tăng lên và đặc biệt là “tính có thể diễn dịch được”
của hệ thống mờ giảm đi.
Thực nghiệm mô hình máy học véc-tơ hồi quy trên hàm hồi quy phi tuyến Sinc(x) được cho
bởi công thức (15), với tập dữ liệu huấn luyện được xác định trên đoạn [-3π, 3π], cho thấy:
sin(𝑥)
𝑖𝑓 𝑥 ≠ 0
𝑆𝑖𝑛𝑐(𝑥) = { 𝑥 (15)
1 𝑖𝑓 𝑥 = 0
Trong quá trình xác định cấu trúc SVM, chúng tôi sử dụng tham số ε để điều chỉnh số lượng
SVs. Theo kết quả thể hiện ở hình 1 chúng ta thấy: khi giá trị của tham số ε giảm đi thì số lượng
SVs cũng tăng lên, đồng thời độ chính xác của kết quả dự đoán cũng tăng lên (đường đậm nét là
đường dự đoán hồi quy, đường đánh dấu + là đường biểu diễn giá trị dữ liệu đúng).
- 234 KỶ YẾU HỘI THẢO KHOA HỌC QUỐC GIA 2018 “CNTT VÀ ỨNG DỤNG TRONG CÁC LĨNH VỰC
Hình. 1. Mối quan hệ giữa số lượng SVs và tham số ε (giá trị của ε tương ứng theo thứ tự các hình vẽ là
0.5, 0.2, 0.1 và 0.01).
(a)
b)
Hình. 2 Phân bố của 50 và 6 hàm thành viên mờ
Bằng cách giữ cố định giá trị tham số C = 10. Khi giá trị ε = 0.0, sẽ có 50 SVs nhận được
từ mô hình, đồng nghĩa với việc chúng ta nhận được 50 luật mờ (chú ý rằng, trong trường hợp
này tất cả các các mẫu dữ liệu huấn luyện được chọn làm SVs đầu ra). Hình 2a thể hiện phân bố
của 50 hàm thành viên mờ tương ứng trong trường hợp này. Khi tăng giá trị tham số ε = 0.1, thì
có 6 SVs nhận được tương ứng với 6 luật mờ. Hình 2b thể hiện phân bố của 6 hàm thành viên
mờ tương ứng.
3.3 Rút gọn tập luật bằng cách tích hợp kỹ thuật phân cụm k-Means
Tập luật mờ trích xuất từ động từ máy học véc-tơ hỗ trợ không tránh khỏi sự nhập nhằng
trong luật mờ. Chính sự ngẫu nhiên của dữ liệu đầu vào làm cho các luật mờ học được có sự
phân bố không đều, có nhiều luật mờ có hàm phân bố tương tự nhau (hình 2b).
Kỹ thuật phân cụm k-Means là một giải pháp đề xuất để gom cụm các luật mờ có phân bố
hàm thanh viên tương tự, từ đó có thể rút gọn các tập luật mờ, giảm tính nhập nhằng của tập luật
trích xuất được. Ở đây, các giá trị 𝑥𝑖 = 𝑠𝑣𝑖 , phương sai 𝜎𝑖 cũng chính là center và biên độ của
các hàm thành viên mờ sẽ là dữ liệu đầu vào để thực hiện phân cụm với thuật toán k-Means. Số
phân cụm k được lựa chọn ngẫu nhiên, trong trường hợp thực nghiệm này k được chọn bằng ½
số Support véc-tơ trích xuất được từ mỗi máy học SVM. Kết quả sau khi thực hiện thuật toán
phân cụm, lập luật của mỗi phân cụm sẽ được thay thế bằng một luật duy nhất với các hàm
thành viên mờ được xác định bởi các giá trị 𝑥𝑖 = 𝑠𝑣𝑖 , phương sai 𝜎𝑖 trung tâm của mỗi cụm.
Như vậy số luật trích xuất được từ mô hình chính xác sẽ là k luật, tương ứng với k phân cụm.
3.4 Đề xuất thuật toán trích xuất tập luật mờ
Từ những phân tích trên, chúng tôi đã đề xuất thuật toán fm-SVM* (sơ đồ thuật toán ở hình
3).
- Nguyễn Đức Hiển 235
Begin
Input: Training data set
Initialize parameters of SVMs
Centers : 𝑐𝑖 , 𝑖 = 1. . 𝑚
Variances : 𝜎𝑖 , 𝑖 = 1. . 𝑚
Tối ưu hóa các tham số σi , ci
Cluster (𝜎𝑖 , 𝑠𝑣𝑖 ) using k-Means
extract fuzzy rules from SVM
IF x is Gaussmf(𝜎𝑖 , 𝑠𝑣𝑖 ) THEN y is B
Lựa chọn tham số ε và số phân cụm k tối ưu
Output: TSK fuzzy model
End
Hình. 3. Sơ đồ thuật toán trích xuất tập luật mờ TSK.
Thuật toán fm-SVM* cho phép trích xuất mô hình mờ TSK từ máy học véc-tơ hỗ trợ gồm
các bước nhưu sau:
Bước 1: huấn luyện SVMs với tập dữ liệu huấn luyện để trích xuất ra các véc-tơ hỗ trợ tương
ứng với các giá trị 𝑥𝑖 = 𝑠𝑣𝑖 , phương sai 𝜎𝑖 , và (𝛼𝑖 − 𝛼𝑖∗ ) = 𝐵
Bước 2: tối ưu hóa các tham số Tối ưu hóa các tham số 𝜎𝑖 , 𝑐𝑖 , ε
Bước 3: dùng thuật toán k-Means để phân cụm các (𝜎𝑖 , 𝑠𝑣𝑖 ) thành k cụm
Bước 4: chọn các (𝜎𝑖 , 𝑠𝑣𝑖 ) là trung tâm của các cụm để thiết lập các hàm thành viên Gauss cho
các luật mờ TSK; trong đó 𝑠𝑣𝑖 là trung tâm của hàm thành viên và 𝜎𝑖 là biên độ mờ. Tập các
luật mờ TSK trích xuất được sẽ có dạng:
𝐼𝐹 𝑥𝑖 𝑖𝑠 𝐺𝑎𝑢𝑠𝑠𝑚𝑓(𝜎𝑖 , 𝑠𝑣𝑖 ) 𝑇𝐻𝐸𝑁 𝑦𝑖 𝑖𝑠 𝐵
Điểm mới của mô hình fm-SVM* được đề xuất so với các mô hình trước đó mà nhóm tác
giả đã nghiên cứu là:
- 236 KỶ YẾU HỘI THẢO KHOA HỌC QUỐC GIA 2018 “CNTT VÀ ỨNG DỤNG TRONG CÁC LĨNH VỰC
1) Sử dụng kỹ thuật phân cụm k-Means để phân cụm các hàm thành viên mờ có phân bố tương
tự, từ đó thay thể các luật mờ trong một phân cụm bằng một luật duy nhất, đó chính là center
của mỗi phân cụm
2) Điều chỉnh để lựa chọn giá trị tối ưu cho các tham số ε và k cho từng mô hình thực tế bằng
cách thực nghiệm trên tập dữ liệu Validation
4 Mô hình thực nghiệm dự báo giá cổ phiếu
4.1 Mô hình thực nghiệm
Trong phần này, chúng tôi đề xuất một mô hình trích xuất luật mờ dự đoán giá cổ phiếu bằng
cách sử dụng thuật toán fm-SVM* đã đề xuất. Sơ đồ khối của mô hình được thể hiện trong hình.
4.
Part 1
fm-SVM 1
Part 2
fm-SVM 2
Dữ liệu Phân cụm Mô hình
Lựa chọn thuộc
dữ liệu
tính dữ liệu vào mờ
vào bằng SOM
Part n-1
fm-SVM n-1
Part n
fm-SVM n
Hình. 4. Mô hình mờ dự đoán giá cổ phiếu.
Lựa chọn dữ liệu đầu vào. Để có sự so sánh với kết quả của L.J. Cao và Francis E.H. Tay
trong [12,13], chúng tôi lựa chọn dữ liệu đầu vào là các chỉ số giá cổ phiếu hằng ngày . Các thuộc tính dữ liệu đầu vào cụ thể hiện trong Bảng 1.
Bảng 1. Các thuộc tính dữ liệu vào.
Ký hiệu Thuộc tính Công thức tính
𝑥1 EMA100 𝑃𝑖 − ̅̅̅̅̅̅̅̅̅̅̅̅̅̅
𝐸𝑀𝐴100 (𝑖)
𝑥2 RDP-5 (𝑃(𝑖) − 𝑃(𝑖 − 5))/𝑃(𝑖 − 5) ∗ 100
𝑥3 RDP-10 (𝑃(𝑖) − 𝑃(𝑖 − 10))/𝑃(𝑖 − 10) ∗ 100
𝑥4 RDP-15 (𝑃(𝑖) − 𝑃(𝑖 − 15))/𝑃(𝑖 − 15) ∗ 100
𝑥5 RDP-20 (𝑃(𝑖) − 𝑃(𝑖 − 20))/𝑃(𝑖 − 20) ∗ 100
𝑦 RDP+5 ̅̅̅̅̅̅̅̅̅̅̅
(𝑃(𝑖 + 5) − ̅̅̅̅̅̅ ̅̅̅̅̅̅ ∗ 100
𝑃(𝑖))/𝑃(𝑖)
̅̅̅̅̅̅ ̅̅̅̅̅̅̅̅̅̅̅
𝑃(𝑖) = 𝐸𝑀𝐴3 (𝑖)
Trong đó, P(i) là chỉ số giá đóng phiên của ngày thứ i, RPD-m là tỷ lệ khác biệt trung bình
m ngày (m-day relative difference in percentage of price – RDP) và EMAm (i) là m-day
exponential moving average của giá đóng phiên ngày thứ i.
Tiền xử lý dữ liệu vào. Trong nghiên cứu này, chúng tôi sử dụng thuật toán phân cụm SOM
(Self-Organizing Map) để phân dữ liệu đầu vào thành các cụm theo sự tương đương phân bố
thống kê của các điểm dữ liệu. Kết quả phân cụm bởi SOM sẽ giúp giải quyết được hai vấn đề
[12]:
- Nguyễn Đức Hiển 237
1) Kích thước dữ liệu trong từng cụm sẽ nhỏ hơn làm tăng tốc độ học của mô hình.
2) Dữ liệu trong các cụm có sự tương đương trong phân bố thống kê, như vậy sẽ hạn chế được
các trường hợp nhiễu.
Trích xuất mô hình mờ bằng fm-SVM*. Mỗi cụm dữ liệu vào đã được phân tách bằng SOM
sẽ được đưa vào huấn luyện cho từng máy fm-SVM* tương ứng để trích xuất các luật mờ. Các
tập luật mờ trích xuất được từ các máy fm-SVM* tương ứng với các cụm dữ liệu huấn luyện có
thể được sử dụng để suy luận dự đoán giá cổ phiếu. Những luật mờ khai phá được từ dữ liệu đã
được phân thành các cụm riêng biệt và được cải thiện tính “có thể diễn dịch được”, như vậy các
chuyên gia con người có thể diễn dịch thành luật ngôn ngữ và từ đó có thể hiểu và đánh giá
được các luật này.
4.2 Kết quả thực nghiệm
Để đánh giá mô hình đề xuất, chúng tôi xây dựng một hệ thống thử nghiệm dựa trên bộ công
cụ Matlab. Thuật toán học SVM của thư viện LIBSVM được phát triển bởi nhóm của Chih-Wei
Hsu [11], được sử dụng để sản sinh ra các SVs từ dữ liệu huấn luyện, làm cơ sở để xây dựng
thuật toán trích xuất các luật mờ fm-SVM*. Việc phân cụm dữ liệu đầu vào được thực hiện dựa
trên bộ công cụ SOM được phát triển bởi Juha Vesanto và các đồng sự [15]. Sau cùng, chúng
tôi sử dụng hàm AVALFIS trong thư viện công cụ Matlab Fuzzy Logic để suy luận dự báo giá
cổ phiểu dựa vào các luật mờ sản xuất được.
Nguồn dữ liệu. Nguồn dữ liệu thực nghiệm được chọn từ bốn mã cố phiếu của các tập đoàn
và tổ chức tài chính lớn của Mỹ bao gồm: IBM Corporation stock (IBM), the Apple inc. stock
(APPL), the the Standard & Poor’s stock index (S&P500), and the Down Jones Industrial
Average index (DJI) (xem bảng 3). Tất cả các dữ liệu trên được lấy từ nguồn sàn chứng khoán
Yahoo Finance (http://finance.yahoo.com/).
Bảng 2. Nguồn dữ liệu thực nghiệm.
Stocks Time Training Validation Testing
IBM Corporation stock (IBM) 03/01/2000 - 30/06/2010 2409 200 200
Apple inc. stock (APPL) 03/01/2000 - 30/06/2010 2409 200 200
Standard & Poor’s stock index
03/01/2000 - 23/12/2008 2028 200 200
(S&P500)
Down Jones Industrial Average
02/01/1991 - 28/03/2002 2352 200 200
index (DJI)
Các kết quả thực nghiệm. Các tập dữ liệu Training được sử dụng để huấn luyện cho các mô
hình để tạo ra các tập luật mờ tương ứng với từng mã cổ phiếu. Các tập dữ liệu Validation được
sử dụng để suy luận thử với các tập luật mờ tương ứng với từng mã cổ phiểu. Từ đó, các tham
số ε và k (số phân cụm bằng k-Means) được xác định bằng cách tùy chỉnh để có được các giá trị
thông số đánh giá tốt nhất, gồm NMSE (Nomalized Mean Squared Error), MAE (Mean
Absolute Error), và DS (Directional Symmetry). Trong đó NMSE và MAE đo lường độ lệch
giữa giá trị thực tế và giá trị dự đoán, DS đo lường tỷ lệ dự đoán đúng xu hướng của giá trị
RDP+5. Giá trị tương ứng của NMSE và MAE là nhỏ và của DS là lớn chứng tỏ rằng mô hình
dự đoán tốt.
Mô hình kết quả đã được tối ưu hóa các tham số bằng cách tinh chỉnh trên tập dữ liệu
Validation được sử dụng để dự đoán trên tập dữ liệu Testing. Bên cạnh đó, chúng tôi cũng thử
nghiệm dự đoán trên cùng bộ dữ liệu Testing với các mô hình khác được đề xuất trước đó, bao
gồm SVM, mô hình kết hợp SOM+SVM và SOM+f-SVM. Mô hình SOM+SVM là mô hình
- 238 KỶ YẾU HỘI THẢO KHOA HỌC QUỐC GIA 2018 “CNTT VÀ ỨNG DỤNG TRONG CÁC LĨNH VỰC
dựa trên sự kết hợp của SOM và SVM, được đề xuất để dự đoán xu hướng cổ phiếu trong [16].
Mô hình SOM+f-SVM là mô hình kết hợp SOM với f-SVM thuần túy (chưa tối ưu tham số ε).
Kết quả thực nghiệm dự đoán trên 200 mẫu dữ liệu testing được thể hiện trong bảng 3.
Bảng 3. Kết quả dự đoán trên 200 mẫu dữ liệu thử nghiệm.
SVM SOM+SVM SOM+f-SVM SOM+ fm-SVM*
Mã cổ
Số Số
phiếu NMSE MAE DS NMSE MAE DS NMSE MAE DS NMSE MAE DS
luật luật
IBM 0.9278 0.0191 38.31 1.1028 0.0577 44.22 1355 1.1028 0.0577 44.22 15*6 1.0324 0.0554 50.75
APPL 1.0725 0.0110 34.33 1.1100 0.0445 52.76 1287 1.1100 0.0445 52.76 5*55 1.0467 0.0435 53.27
SP500 1.2687 0.0394 38.90 1.1081 0.1217 52.76 965 1.1081 0.1217 52.76 15*6 1.0836 0.1207 53.27
DJI 1.1015 0.0576 38.31 1.0676 0.1186 50.25 1025 1.0676 0.1186 50.25 5*35 1.0459 0.1181 51.76
So sánh giá trị các thông sô MNSE và MAE trong Bảng 3 ta thấy, trên cả 4 mã cổ phiếu, giá
trị các thông số MNSE và MAE của mô hình SOM+fm-SVM đề xuất là nhỏ hơn so với mô hình
SVM, điều này chứng tỏ độ sai lệch giữa giá trị dự đoán và giá trị thực tế của mô hình đề xuất là
ít hơn so với hai mô hình kia. Bên cạnh đó, ta cũng thấy giá trị thông số DS của mô hình đề xuất
lớn hơn so với mô hình SVM, điều này chứng tỏ tỷ lệ dự đoán đúng xu hướng của mô hình đề
xuất cao hơn.
So sánh kết quả của mô hình SOM+ fm-SVM* đề xuất với mô hình SOM+SVM và SOM+
fm-SVM* trong Bảng 4, ta thấy giá trị của những thông số của cả hai mô hình là tương đương.
Điều này cũng dễ dàng lý giải được, bởi vì các thuật toán f-SVM và fm-SVM* đã rút trích ra
tập luật mờ dùng cho mô hình dự đoán từ các máy SVMs, và như vậy mô hình dự đoán đề xuất
kết hợp SOM với f-SVM và fm-SVM* sẽ thừa hưởng hiệu quả của mô hình SOM+SVM là điều
tất yếu. Tuy nhiên, so với mô hình dự đoán SOM+SVM thì các mô hình mô hình mờ TSK có
những ưu điểm sau:
1) Mô hình dự đoán SOM+SVM là một mô hình “hộp đen” đối với người dùng cuối, trong khi
mô hình đề xuất cho phép trích xuất ra một tập luật mờ và quá trình suy luận sẽ được thực
hiện trên tập luật này. Đối với người dùng cuối thì mô hình suy luận dựa trên một tập luật
mờ sẽ dễ hiểu và sáng tỏ hơn.
2) Ngoài ra việc áp dụng SOM để phân cụm dữ liệu đầu vào thành từng tập nhỏ riêng biệt, bên
cạnh hiệu quả mang lại là giảm kích thước dữ liệu vào và từ đó làm giảm độ phức tạp của
thuật toán, tập luật sinh ra cũng sẽ được phân thành các cụm riêng biệt tương ứng, điều này
cũng sẽ góp phần giúp cho chuyên gia con người dễ dàng đọc hiểu và phân tích các luật mờ
học được.
Điểm cải thiện của mô hình dựa trên fm-SVM* so với mô hình dựa trên f-SVM chính là số
luật mờ trích xuất được trong từng mô hình dự đoán. Ví dụ, đối với mã cổ phiếu IBM, tổng số
luật mờ theo mô hình SOM+f-SVM là 1355, nhưng với mô hình SOM+fm-SVM* thì chỉ có 90
luật (15*6). Như vậy, số luật mờ của mô hình đề xuất đã giảm đi rất nhiều so với mô hình
SOM+f-SVM, trong khi tính chính xác của kết quả dự đoán vẫn được đảm bảo.
5 Kết luận
Nghiên cứu này đề xuất một số giải pháp để tối ưu hóa mô hình mờ TSK trích xuất từ máy
học véc-tơ hỗ trợ giải quyết bài toán dự báo hồi quy. Thuật toán fm-SVM* đề xuất cho phép
điều chỉnh và lựa chọn giá trị tối ưu của các tham số ε và k trên cơ sở sử dụng tập dữ liệu
Validation.
- Nguyễn Đức Hiển 239
Các kết quả thực nghiệm trên dữ liệu Testing cho thấy mô hình dự đoán đề xuất thật sự mạng
lại hiệu quả thể hiện ở chỗ: độ chính xác của kết quả dự đoán cao hơn hoặc tương tương đương
so với các mô hình khác, thể hiện qua các giá trị của các thông số NMSE, MAE và DS, trong
khi đó thì số lượng luật mờ của các mô hình được rút gọn đáng kể. Như đã trình bày ở phần 4
của bài báo, một trong những hiệu quả mang lại của việc rút gọn và gom cụm các luật mờ trích
xuất được là sẽ giảm độ phức tạp trong quá trình suy luận, đồng thời giúp cho việc diễn dịch và
phân tích các luật này dễ dàng hơn.
Trong những nghiên cứu tiếp theo, chúng tôi sẽ nghiên cứu các giải pháp để tích hợp luật
chuyên gia với tập luật mờ hướng dữ liệu nhằm nâng cao hiệu quả dự đoán.
Tài liệu tham khảo
1. J. Shawe-Taylor and N. Cristianini: “Kernel Methods for Pattern Analysis”, Cambridge University
Press (2004).
2. Corinna Cortes and Vladimir Vapnik: “Support-Vector Networks, Machine Learning”, Machine
Learning, 20, 273-297 (1995).
3. J.-H Chiang, P.-Y Hao: “Support vector learning mechanism for fuzzy rule-based modeling: a new
approach”, IEEE Trans. On Fuzzy Systems, vol. 12, pp. 1-12 (2004).
4. J.L. Castro, L.D. Flores-Hidalgo, C.J. Mantas, J.M. Puche: “Extraction of fuzzy rules from support
vector machines”, Elsevier. Fuzzy Sets and Systems, 158, 2057–2077 (2007).
5. J.-S. R. Jang: “Anfis: adaptive-network-based fuzzy inference system”, IEEE Transactions on
Systems, Man and Cybernetics, vol. 23, no. 3, pp. 665-685 (1993).
6. David Martens, Johan Huysmans, Rudy Setiono, Jan Vanthienen, Bart Baesens: “Rule Extraction
from Support Vector Machines - An Overview of issues and application in credit scoring”, Studies in
Computational Intelligence (SCI) 80: 33–63 (2008).
7. M. Azeem, M. Hanmandlu, N. Ahmad: “Generalization of adaptive neuro-fuzzy inference systems”,
IEEE Transactions on Neural Networks, vol. 11, no. 6.
8. S. Chen, J. Wang, D. Wang: “Extraction of fuzzy rules by using support vector machines”, IEEE,
Computer society, pp. 438-441 (2008).
9. Serge Guillaume, Luis Magdalena: “Expert guided integration of induced knowledge into a fuzzy
knowledge base”, Soft Comput, Springer-Verlag 2006, 10:733-784 (2006).
10. Y. Jin, B. Sendhoff: “Extracting interpretable fuzzy rules from RBF networks”, Neural Processing
Letters, vol. 17, no. 2, pp. 149-164 (2003).
11. Chih-Wei Hsu, Chih-Chung Chang, Chih-Jen lin: “A practical Guide to Support Vector
Classification”, http://www.csie.ntu.edu.tw/~cjlin/libsvm/ (2010).
12. Francis Eng Hock Tay and Li Yuan Cao: “Improved financial time series forecasting by combining
Support Vector Machines with self-organizing feature map”, Intelligent Data Analysis 5, IOS press:
339-354 (2001).
13. L.J.Cao and Francis E.H.Tay: “Support vector machine with adaptive parameters in Financial time
series forecasting”, IEEE trans. on neural network,vol. 14, no. 6 (2003).
14. John Yen, Reza Langari, “Fuzzy logic: Intelligence, Control, and Information”, Prentice hall, Uper
dadle river, New Jersey (1999).
15. Juha Vesanto, Johan Himberg, Esa Alhoniemi, Jaha Parhankangas, “SOM Toolbox for Matlab 5”,
http://www.cis.hut.fi/projects/som-toolbox/ (2000).
16. Duc-Hien Nguyen, Manh-Thanh Le: “A two-stage architecture for stock price forecasting by
combining SOM and fuzzy-SVM”, International Journal of Computer Science and Infor-mation
Security (IJCSIS), USA, ISSN: 1947-5500, Vol. 12 No. 8: 20-25 (2013).
nguon tai.lieu . vn
