Xem mẫu
- Hội nghị Quốc gia lần thứ 24 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2021)
Phương pháp khuyến khích cộng tác đào tạo mô
hình học máy bằng Blockchain và học liên kết
Hoàng Tuấn Anh∗† , Ngân Văn Luyện∗† , Đỗ Hoàng Hiển∗† , Phan Thế Duy∗†
∗ Phòng Thí Nghiệm An Toàn Thông Tin, Trường Đại Học Công Nghệ Thông Tin
† Đại Học Quốc Gia Tp. Hồ Chí Minh
Email: {18520446, 18521074}@gm.uit.edu.vn, {hiendh, duypt}@uit.edu.vn
Tóm tắt—Ngày nay, lượng dữ liệu được sinh ra từ các không sẵn sàng chia sẻ dữ liệu vì không được hưởng lợi
thiết bị Vạn vật kết nối (Internet of Things - IoT) ngày càng từ việc đóng góp dữ liệu của mình cho quá trình đào tạo
lớn, tạo tiền đề cho sự phát triển của các ứng dụng trí tuệ mô hình máy học. Vì vậy, để xây dựng được một một hệ
nhân tạo. Tuy nhiên, với cách tiếp cận truyền thống, việc thu
sinh thái thông minh, toàn diện, cần có một cách tiếp cận
thập dữ liệu người dùng một cách tập trung đang ngày càng
trở nên khó khăn. Đã có những báo cáo cho thấy tồn tại máy học mới. Cách tiếp cận này cần phải giải quyết được
những hành vi xâm hại đến quyền riêng tư trên dữ liệu của vấn đề liên quan đến quyền riêng tư của người dùng, và
người dùng. Hơn nữa, lợi ích nhận được từ việc đào tạo các đảm bảo được nguồn lợi cho chủ sở hữu dữ liệu.
mô hình học máy đa phần không được phân chia cho người Trong bối cảnh đó, phương pháp học cộng tác/học liên
sở hữu dữ liệu. Do đó, người dùng thường không sẵn sàng kết (Federated Learning- FL) xuất hiện như một giải pháp
chia sẻ dữ liệu của họ với người khác. Trong bài báo này,
có thể đáp ứng được yêu cầu huấn luyện mô hình ML hiệu
chúng tôi đề xuất một bộ khung giải pháp giúp tận dụng tối
đa nguồn tài nguyên dữ liệu của người dùng, mà vẫn đảm quả mà vẫn đảm bảo tính bảo mật và riêng tư của dữ liệu.
bảo quyền riêng tư của họ. Chúng tôi áp dụng học liên kết Sử dụng phương pháp FL, các thực thể (các tổ chức, cá
(Federated Learning - FL) vào việc huấn luyện các mô hình nhân, thiết bị IoT, ...) tham gia cộng tác được phân phối
máy học. Người dùng chỉ chia sẻ mô hình học máy được đào mô hình hiện tại từ máy chủ trung tâm và thực hiện huấn
tạo trên dữ liệu của họ thay vì chia sẽ dữ liệu thô. Do đó luyện ngay tại chính thực thể đó bằng cách sử dụng bộ
quyền riêng tư của người dùng được đảm bảo. Hơn nữa, các
dữ liệu cục bộ. Người dùng chia sẻ mô hình kết quả cho
hoạt động đóng góp của người dùng trong hệ thống được ghi
lại vào Blockchain. Điều này đảm bảo được sự minh bạch trung tâm tổng hợp thay vì chia sẻ dữ liệu thô của mình.
trong quá trình vận hành hệ thống và khuyến khích người Điều này giúp giải quyết được phần lớn các vấn đề liên
dùng tham gia đóng góp đào tạo mô hình học máy. quan đến quyền riêng tư dữ liệu người dùng. Tại máy chủ
Từ khóa—Blockchain, federated learning, học máy. tổng hợp, quy trình huấn luyện diễn ra nhiều chu kì cho
đến khi mô hình toàn cục được tối ưu và đạt hiệu năng
I. GIỚI THIỆU như mong đợi.
Hiện nay, nhiều quốc gia đã và đang đẩy mạnh chiến Tuy nhiên, trong thực tế còn rất nhiều vấn đề xoay quanh
lược xây dựng đô thị thông minh để đón đầu cuộc đua việc triển khai hệ thống học liên kết. Trong đó, điển hình là
về sáng tạo khoa học kỹ thuật trong bối cảnh Cách mạng việc thiếu kiểm soát hoạt động sử dụng nguồn tài nguyên
Công nghiệp lần thứ Tư (CMCN 4.0). Chìa khoá để hiện mà người dùng cung cấp vào các mục đích xấu và vấn
thực chiến lược này chính là trí tuệ nhân tạo (Artificial đề làm sao để sự đóng góp của người dùng được trả công
Intelligence - AI), yếu tố đang định hình một hệ sinh thái xứng đáng. Việc chỉ gửi mô hình cục bộ đã được huấn
công nghệ xoay quanh việc phục vụ tối đa lợi ích của luyện trên dữ liệu cá nhân lên hệ thống thay vì dữ liệu
người dân thông qua việc thực hiện quá trình chuyển đổi thô chưa hoàn toàn giải quyết được các vấn đề về quyền
số - số hóa dữ liệu. Trong đó, dữ liệu được người dùng riêng tư. Nhiều nghiên cứu đã chỉ ra rằng, thông qua các
chia sẻ đóng vai trò quan trọng trong việc xây dựng hệ mô hình nhận được, kẻ tấn công có thể thực hiện cuộc tấn
sinh thái thông minh, mềm dẻo và bền vững trong từng công suy ngược [7]. Bên cạnh đó, vấn đề các nguồn lợi từ
lĩnh vực của đời sống kinh tế - xã hội. Các mô hình AI việc huấn luyện mô hình học máy không được phân chia
hiện nay đang tận dụng những tiến bộ trong mô hình học hợp lý cho các bên tham gia cũng khiến chủ sở hữu dữ
máy (Machine Learning - ML) để nâng cao tính ưu việt liệu do dự khi được mời tham gia đóng góp. Để giải quyết
của hệ sinh thái thông minh. Điều này cần một khối lượng các vấn đề trên, Blockchain được chúng tôi đề xuất như
dữ liệu lớn và đa dạng để đào tạo. Cách tiếp cận xây dựng một giải pháp hỗ trợ FL trong việc lưu trữ bằng chứng về
mô hình ML hiện nay chủ yếu là thu thập dữ liệu cho hoạt động của các thực thể trong hệ thống. Những bằng
việc đào tạo tập trung tại một máy chủ, sau đó đào tạo chứng này phục vụ cho quá trình điều tra về hoạt động sử
mô hình trên dữ liệu đó. Tuy nhiên, cách tiếp cận này đang dụng các đóng góp của người dùng bởi các tổ chức tổng
dần trở nên khó khả thi vì những rủi ro về quyền riêng tư hợp mô hình. Hơn nữa, những đóng góp của người dùng
của người dùng. Đồng thời, các chủ sở hữu dữ liệu cũng được Blockchain ghi lại, đảm bảo sự chính xác và bất biến
ISBN 978-604-80-5958-3 152
- Hội nghị Quốc gia lần thứ 24 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2021)
(không thể sửa đổi hoặc xóa), hỗ trợ việc trả thưởng cho nhiên, đây chỉ là một khảo sát và đánh giá; dù mang lại
người dùng một cách chính xác và minh bạch. một cái nhìn tổng quan và nhiều cách để giải quyết khác
nhau, nhưng chưa được triển khai để đáp ứng đầy đủ các
II. NGHIÊN CỨU LIÊN QUAN yêu cầu của các hệ thống hiện tại.
Học liên kết đã tạo điều kiện thuận lợi để giải quyết
các vấn đề về quyền riêng tư và bảo mật dữ liệu so với III. KIẾN TRÚC ĐỀ XUẤT
cách đào tạo mô hình máy học truyền thống, với khả năng A. Tổng quan kiến trúc
đào tạo mô hình máy học phân tán mà không cần chủ Để giải quyết các vấn đề đã nêu trên, một kiến trúc với
sở hữu dữ liệu phải chia sẻ dữ liệu riêng tư của họ. Một sự kết hợp giữa Federated learning và Blockchain được
số nghiên cứu trước đây [1], [2] đã nghiên cứu các ứng chúng tôi đề xuất và thiết kế như mô tả trong Hình 1. Hệ
dụng của FL trong nhiều ngữ cảnh của nền công nghiệp thống với vai trò tạo ra môi trường đáng tin cậy, có khả
IoT. Đặc biệt, Dinh C.Nguyen và cộng sự [1] đã thực hiện năng khai thác nguồn tài nguyên dữ liệu của người dùng
một cuộc khảo sát và đánh giá toàn diện về ứng dụng của mà vẫn đảm bảo được các vấn đề về quyền riêng tư cho
FL trong mạng lưới IoT. Nhóm tác giả cũng thảo luận về chủ sở hữu. Người đóng góp có thể yên tâm về những
vai trò của FL trong một loạt các dịch vụ IoT như chia nguồn lợi mà mình nhận được là hoàn toàn xứng đáng với
sẻ dữ liệu, phát hiện tấn công, cảm biến đám đông trên những gì họ đóng góp. Người đưa ra lời kêu gọi đào tạo
thiết bị di động cũng như quyền riêng tư và bảo mật IoT. tổng hợp mô hình có thể yên tâm rằng mọi người trong
Bài báo cũng đã chứng minh tính linh hoạt của FL trong mạng Fedchain đều thấy được yêu cầu của họ và cùng
một số lĩnh vực như chăm sóc sức khỏe, giao thông, máy nhau đóng góp cho mô hình chung.
bay không người lái (UAV), ... Sau cùng, bài báo cũng chỉ
ra những thách thức và định hướng có thể nghiên cứu và
triển khai FL trong lĩnh vực này.
Về việc xây dựng khung học tập liên kết dựa trên
Blockchain cho các thiết bị IoT, cũng đã có một số nỗ
lực nghiên cứu tập trung vào vấn đề này [3], [4]. Cụ thể,
trong nghiên cứu của Rui Wang và cộng sự [3] là những
người đầu tiên đề xuất tích hợp Blockchain, MEC vào quy
trình học liên kết nhằm cải thiện quyền riêng tư, chất lượng
và chi phí giao tiếp hệ thống. Nhóm tác giả cũng đề xuất
thuật toán ngăn chặn các bản cập nhật độc hại nhằm bảo
vệ FL và thiết kế cơ chế khuyến khích người dùng tham
gia đào tạo mô hình. Trong nghiên cứu về đảm bảo quyền
riêng tư dữ liệu trong ngành công nghiệp IoT [4], Y. Lu
và cộng sự đã thiết kế một kiến trúc chia sẻ dữ liệu an
toàn sử dụng FL và Blockchain. Nhằm cải thiện các vấn
đề liên quan đến quyền riêng tư trong FL để tăng cường
đào tạo [5], nhóm tác giả đã triển khai một cơ chế bảo mật
nâng cao sử dụng Differential Privacy và Homomorphic
encryption. Trong công trình này nhóm tác giả cũng sử
dụng (IPFS) làm nơi lưu trữ dữ liệu để xây dựng một hệ
thống hoàn toàn phi tập trung. Họ cũng đề xuất một cơ
chế khuyến khích chủ sở hữu dữ liệu tham gia đào tạo mô Hình 1. Kiến trúc của hệ thống FedChain
hình bằng cách sử dụng hợp đồng thông minh Ethereum.
Ngoài ra, công trình nghiên cứu về thiết kế cơ chế Một cá nhân hay tổ chức (task publisher) muốn xây
khuyến khích cho việc học liên kết [6], Yufeng Zhan và dựng một mô hình máy học mới, điều họ cần làm là đăng
cộng sự đã trình bày và phân loại các cơ chế khuyến khích ký mở tác vụ huấn luyện với hệ thống. Bên cạnh các thông
hiện có đối với việc học liên kết, sau đó, thực hiện đánh tin hỗ trợ cho việc tổng hợp mô hình, một khoản phí cần
giá so sánh. Các tác giả đã chỉ ra các cơ chế khuyến được thanh toán nhằm trả công cho những người tham gia
khích đã bị bỏ qua hoặc chưa được liên kết với các thuật đóng góp. Các cá nhân có bộ dữ liệu phù hợp sẽ xem xét
toán trong các mô hình hiện tại và đề nghị việc xây dựng và quyết định đóng góp cho việc xây dựng mô hình này.
cơ chế khuyến khích cũng cần xây dựng một hệ thống Chủ sở hữu dữ liệu cần cung cấp thông tin về bộ dữ liệu,
bảo mật hơn để người dùng an tâm tham gia đào tạo mô thông tin phần cứng mà người đó sở hữu và bắt đầu huấn
hình. Nhóm tác giả cũng đã nêu lên những ý tưởng về xây luyện mô hình. Kết quả sau khi huấn luyện được gửi lại
dựng cơ chế khuyến khích. Nghiên cứu đã nêu một các máy chủ tổng hợp. Hành vi đóng góp này được Blockchain
tổng quan về cơ chế khuyến khích trong học liên kết. Tuy ghi lại và hệ thống sẽ tiến hành trả thưởng dựa trên những
ISBN 978-604-80-5958-3 153
- Hội nghị Quốc gia lần thứ 24 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2021)
bằng chứng này. Khi có được số lượng đủ lớn các mô hình theo thời gian, do đó, việc huấn luyện cần phải lặp đi lặp
từ phía người dùng gửi lên, máy chủ tổng hợp sinh ra một lại nhiều lần để có được độ chính xác tốt nhất.
mô hình trung tâm và trả về cho task publisher. Kết quả
sau cùng là task publisher có được mô hình máy học mà
mình mong muốn. Các chủ sở hữu dữ liệu vừa bảo vệ
được quyền riêng tư, vừa được trả công một cách xứng
đáng.
Algorithm 1 Quy trình huấn luyện mô hình máy học dựa
Bên cạnh Federated learning và Blockchain, chúng tôi trên Học liên kết
sử dụng mạng sinh đối kháng (Generative Adversarial
Input:
Networks - GAN) như một giải pháp để giải quyết vấn
- Máy chủ tổng hợp AS;
đề mất cân bằng dữ liệu giữa những người tham gia đóng
- Người dùng C = {C0 , C1 , ...Cn }, muốn tham gia
góp. IPFS được sử dụng để lưu trữ các mô hình được
đóng góp cho mô hình
người dùng tải lên, với mục đích giảm tải cho hệ thống
- Số vòng trao đổi R giữa server và thành viên tham
Blockchain trong quá trình lưu trữ. Đồng thời, nó cũng
gia.
giải quyết các vấn đề mà phương thức lưu trữ dữ liệu tập
Output: Mô hình máy học với chất lượng tốt.
trung gặp phải. Sự kết hợp trên giúp cho hệ thống của
1: 1. Khởi tạo:
chúng tôi hoạt động một cách chính xác và mềm dẻo hơn
2: - Tại máy chủ tổng hợp: Một mô hình máy học M
trong quá trình vận hành. Chi tiết về các thành phần cũng
được thiết lập với bộ trọng số w0 và các thiết lập ban
như cách chúng phối hợp với nhau sẽ được chúng tôi trình
đầu.
bày cụ thể trong các phần tiếp theo.
3: - Tại thiết bị của người : Người dùng C nhận mô hình
B. Federated Learning M với các trọng số w0 và các tham số liên quan.
4: Xây dựng mô hình:
Mỗi người sở hữu một bộ dữ liệu khác nhau, do đó, với
5: r ← 1
cùng một thuật toán máy học và các tham số truyền vào,
6: snod ← Số lượng dữ liệu được chỉ định
mô hình được tạo ra sẽ có những đặc trưng riêng theo
7: while r ≤ R do
từng bộ dữ liệu. Dựa vào điều này, Federated learning ra
8: 2. Huấn luyện local model
đời như một cách tiếp cận mới trong lĩnh vực trí tuệ nhân
9: k←1
tạo, với ý tưởng là tổng hợp một mô hình trung tâm từ các
10: while k ≤ n do
mô hình biên được huấn luyện trên chính bộ dữ liệu của
11: cd ← Client Ck datasets
người tham gia đóng góp. Bằng phương pháp này, người
12: if cd < snod then
sở hữu dữ liệu chỉ cần gửi đi mô hình máy học đã được
13: while cd < snod do
huấn luyện thay vì gửi đi dữ liệu thô. Từ đó, khắc phục
14: GAN tạo và cấp datasets.
được phần lớn vấn đề liên quan đến quyền riêng tư cá
15: end while
nhân. Bốn bước để xây dựng nên một mô hình máy học
16: end if
sử dụng Federated learning được chúng tôi trình bày cụ
17: Client Ck huấn luyện mô hình Mk sử dụng bộ
thể trong Algorithm 1.
dữ liệu cá nhân.
Để bắt đầu xây dựng một mô hình học máy, một bộ
18: Gửi lại các trọng số wkr cho AS.
trọng số của mô hình toàn cục sẽ được cung cấp. Các
19: k ←k+1
thông số như rounds, epochs, clients, ... cũng được cung
20: end while
cấp ngay từ bước này. Những người dùng sau khi đăng
21: 3. Máy chủ tổng hợp
ký đóng góp sẽ nhận được các thông số trên, tương ứng
22: - AS nhận tất cả wkr từ những người dùng.
với loại tác vụ được đăng ký. Họ sẽ tiến hành sử dụng nó
23: - AS sử dụng thuật toán FedAVG tạo ra mô hình
để huấn luyện trên chính tập dữ liệu của họ sở hữu. Sau
mới với bộ trọng số wr .
khi trải qua quá trình đào tạo, những người tham gia đóng
24: 4. Máy chủ tổng gợp gửi lại mô hình mới cho
góp gửi kết quả lên hệ thống để phục vụ cho bước tổng
người dùng
hợp mô hình toàn cục. Tất cả hoạt động của người tham
25: k←1
gia đều được ghi lại vào Blockchain. Từ những mô hình
26: while k ≤ n do
được người dùng đóng góp, có nhiều thuật toán để có thể
27: Người dùng Ck cập nhật trọng số wr cho mô
tính toán ra một mô hình toàn cục với độ chính xác khác
mình Mk .
nhau. Tuy nhiên, trong khuôn khổ bài báo này, chúng tôi
28: k ←k+1
sử dụng FedAVG [10] làm thuật toán tổng hợp bởi sự đơn
29: end while
giản trong triển khai và tính hiệu quả trong tổng hợp mô
30: r ←r+1
hình của nó. Cuối cùng, máy chủ sẽ phân phối lại mô hình
31: end while
đã được tổng hợp cho người tham gia huấn luyện để tiếp
32: return Mô hình máy học với bộ trọng số w R .
tục cải tiến. Trên thực tế, mỗi bộ dữ liệu sẽ có sự thay đổi
ISBN 978-604-80-5958-3 154
- Hội nghị Quốc gia lần thứ 24 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2021)
C. Blockchain trong triển khai cơ chế khuyến khích và của người dùng để xây dựng nên một mô hình toàn
giám sát hệ thống cục (global model).
Tất cả các hoạt động trên đều được ghi vào Blockchain.
Dựa vào tính minh bạch và bất biến của Blockchain,
Vì vậy, nếu có bất kỳ vấn đề nào liên quan đến hoạt động
chúng tôi triển khai nó một cách song song với Federated
phá hoại đều có thể dễ dàng truy xuất được kẻ tấn công.
learning, hỗ trợ việc ghi lại hành vi của thành viên trong hệ
Bên cạnh đó, hoạt động vận hành và trả thưởng cho người
thống. Chúng tôi xây dựng hệ thống Blockchain để giám
dùng cũng trở nên đáng tin cậy khi không có bất cứ bên
sát 5 hoạt động chính của hệ thống để đảm bảo thực hiện
thứ ba nào can thiệp vào hệ thống trong quá trình vận
cơ chế khuyến khích một cách chính xác và công bằng
hành.
nhất. Đồng thời, nó cho phép quản lý được việc sử dụng
dữ liệu của những người tổng hợp mô hình. Các hành vi D. Khắc phục vấn đề mất cân bằng dữ liệu
được giám sát bởi Blockchain bao gồm:
Tuy nhiên, các mô hình được đào tạo bằng FL thường
• Đăng ký thành viên hệ thống có hiệu suất kém hơn so với các mô hình được đào tạo
Để tham gia vào hệ sinh thái FedChain, người dùng bằng phương pháp học tập trung, đặc biệt khi dữ liệu đào
cần có một định danh để hệ thống quản lý các hành tạo bị chênh lệnh về số lượng mẫu cũng như tỉ lệ theo
vi của họ. Do đó người dùng cần đăng ký thành viên nhãn có sự chênh lệnh lớn giữa các tập dữ liệu của người
trước khi thực hiện các chức năng khác. Trong phạm dùng (Non-IID) [8]. Chúng tôi sử dụng GAN như một giải
vi bài báo này, chúng tôi sử dụng mã hoá bất đối pháp giúp khắc phục vấn đề này trong ngữ cảnh dữ liệu
xứng làm cơ chế xác thực danh tính người dùng trog Non-IID. Việc triển khai GAN được thực hiện ngay trên
hệ thống. Do đó, người dùng cần tạo ra một cặp khoá các thiết bị huấn luyện của người dùng. Với khả năng sinh
cho riêng mình, sau đó gửi một vài thông tin cá nhân dữ liệu của mình, GAN có khả năng giải quyết tốt vấn đề
cần thiết kèm theo khoá công khai của mình. Mọi mất cân bằng dữ liệu giữa các thiết bị tham gia.
yêu cầu khi gửi đi cần được mã hoá bằng khoá bí
mật của người gửi, hệ thống xác thực bằng cách sử IV. THỰC NGHIỆM VÀ ĐÁNH GIÁ HIỆU NĂNG HỆ
dụng khoá công khai của họ. THỐNG
• Đăng ký mở một tác vụ huấn luyện
Khi đăng ký mở một tác vụ huấn luyện mới, task Hệ thống FedChain được chúng tôi đề xuất có thể hỗ
publisher cần cung cấp thông tin về loại tác vụ đó. trợ việc xây dựng các mô hình AI trong nhiều lĩnh vực
Những thông tin này sẽ được công bố cho tất cả các khác nhau. Tuy nhiên, trong phạm vi bài báo này, chúng
thành viên trong mạng được biết. Người sở hữu bộ tôi tiến hành xây dựng một mô hình máy học có nhiệm
dữ liệu phù hợp sẽ đăng ký vào tác vụ này. Ngoài vụ phát hiện các cuộc tấn công mạng. Để chứng minh hệ
ra, task publisher cần cung cấp một khoản phí để trả thống có khả năng vận hành tốt, chúng tôi đánh giá trên
thưởng cho người dùng theo từng chu kỳ. hai khía cạnh khác nhau. Thứ nhất, chúng tôi đánh giá chất
• Đăng ký đóng góp cho một tác vụ cụ thể lượng mô hình được tạo ra bằng phương pháp Federated
Các tác vụ sau khi được đăng ký với hệ thống được learning và GAN. Thứ hai, chúng tôi kiểm tra hiệu năng
những thành viên khác tham gia đóng góp. Để tham xử lý của hệ thống Blockchain về khía cạnh thời gian xử
gia vào một tác vụ cụ thể, chủ sở hữu dữ liệu cần lý và mức độ tiêu tốn tài nguyên tính toán trong ngữ cảnh
cung cấp thông tin chi tiết về tài nguyên phần cứng có nhiều thiết bị cùng tham gia.
và đặc điểm bộ dữ liệu mà họ sở hữu. Sau khi đăng
A. Thiết lập môi trường thực nghiệm
ký thành công, một mô hình sơ khai được gửi cho
người đăng ký để tiến hành huấn luyện mô hình trên Môi trường thực nghiệm FL và GAN
chính bộ dữ liệu của mình. Tensorflow được sử dụng cho việc triển khai FL và
• Gửi kết quả huấn luyện lên máy chủ tổng hợp GAN. Cấu hình máy dùng cho đào tạo FL và GAN là
Sau khi trải qua quá trình huấn luyện, kết quả sẽ CPU: Intel® Xeon® E5-2660 v4 (16 cores - 2.0 Ghz),
được gửi lên hệ thống. Mô hình sau khi được gửi lên RAM: 64 GB, OS: Ubuntu 16.04.
được lưu trữ trong hệ thống lưu trữ phân tán IPFS, Môi trường thực nghiệm Blockchain
cùng với đó, hành vi đóng góp cũng được hệ thống Hyperledger Sawtooth [11] được sử dụng làm nền tảng
ghi vào Blockchain. Những thông tin này sẽ phục vụ triển khai Blockchain. Việc triển khai được thực hiện với 5
trong việc truy xuất nguồn gốc các mô hình và trả nodes đồng thuận dựa trên thuật toán đồng thuận Practical
thưởng cho người dùng. Byzantine Fault Tolerance (PBFT) bởi khả năng chịu lỗi và
• Tổng hợp mô hình toàn cục thời gian phản hồi tốt. Các node hoàn toàn được triển khai
Chức năng này thường được sử dụng bởi task pub- bằng Docker. Máy được cấu hình để tham gia vào mạng
lisher. Sau một thời gian kể từ khi đăng ký mở một IPFS. Cấu hình máy sử dụng là CPU: Intel® Core™ i5-
tác vụ huấn luyện mô hình máy học với hệ thống, 9300H (4 cores - 8 threads - 3.5 Ghz), RAM: 16 GB, OS:
người đăng ký tiến hành tổng hợp lại các đóng góp Ubuntu 16.04.
ISBN 978-604-80-5958-3 155
- Hội nghị Quốc gia lần thứ 24 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2021)
B. Dataset và tiền xử lý dữ liệu để so sánh kết quả với ngữ cảnh huấn luyện trên dữ
• Dataset liệu tập trung. Các mô hình phía người dùng sử dụng
Chúng tôi sử dụng tập dữ liệu CICIDS-2017 [9] do thuật toán LSTM để huấn luyện. Thuật toán này cũng
Viện An ninh mạng Canada cung cấp để đánh giá được dùng để huấn luyện trong ngữ cảnh tập trung
chương trình FedChain. Chúng tôi chỉ sử dụng dữ liệu tất cả dữ liệu. Kiến trúc mô hình cấu tạo như sau:
từ 3 tệp (Tuesday, Wednesday, Thursday-Afternoon) Lớp LSTM với 64 internal units, lớp Dense với 16
với tổng số hơn 1,3 triệu bản ghi mô tả các cuộc tấn internal units. Mô hình có đầu vào với kích thước
công mạng điển hình như DoS Hulk, DoS Golden (16,1) và đầu ra là kết quả sau khi qua lớp Dense với
Eye, DoS slowloris, DoS Slowhttptest, Heart-bleed, hàm kích hoạt sigmoid. Riêng đối với FL, chúng tôi
FTP-Patator, SSH-Patator, Infiltration. tiến hành huấn luyện trong 3, 6, 9 và 12 vòng với 3
• Tiền xử lý dữ liệu người dùng. Kết quả sau khi triển khai được chúng
Theo một nghiên cứu được công bố trong bài báo [9], tôi trình bày trong Bảng I và Bảng II.
Kurni-abudi và cộng sự đã cho thấy rằng, trong số 79
Bảng I
thuộc tính của 1 cuộc tấn công, chỉ có 16 thuộc tính KẾT QUẢ THỰC NGHIỆM TRONG NGỮ CẢNH DỮ LIỆU NON-IID
hàng đầu được cho là có thể dễ dàng trích xuất và
quan sát, cũng như có ảnh hưởng lớn đến việc phát Round Precision Recall F1-score Accuracy
hiện một cuộc tấn công. Các thuộc tính được lựa chọn 3 0.9035 0.6342 0.7452 0.9564
này là Destination Port, FlowDuration, Packet Length Without 6 0.9482 0.591 0.7281 0.9557
GAN 9 0.9725 0.5778 0.7249 0.9559
Std, Total Length of Bwd Packet, Subflow Bwd Bytes, 12 0.9413 0.5696 0.7097 0.9532
Packet Length Variance, Bwd PacketLength Mean, 3 0.9457 0.9021 0.9233 0.9331
Bwd Segment Size Avg, Bwd Packet LengthMax, Total With 6 0.9541 0.9026 0.9276 0.9371
GAN 9 0.9129 0.9645 0.9379 0.9612
Length of Fwd Packets, Packet Length Mean, Max 12 0.959 0.9007 0.9289 0.9581
Packet Length, Subflow Fwd Bytes, Average Packet
Size, InitWinbytesbackward, InitWinbytesforward.
C. Đánh giá hiệu năng hệ thống Bảng II
KẾT QUẢ THỬ NGHIỆM TRONG TRƯỜNG HỢP TẬP TRUNG DỮ LIỆU
• Hiệu suất GAN trong việc sinh dữ liệu đối kháng
Precision Recall F1-score Accuracy
Centralized learning 0.88 0.9753 0.9251 0.9705
Federated learning 0.9129 0.9645 0.9379 0.9612
Bảng I so sánh hiệu suất của mô hình trước và sau
khi sử dụng GAN. Kết quả cho thấy chất lượng mô
hình máy học được cải thiện đáng kể, đặc biệt là
thông số Recall và F1-score. Bảng II so sánh phương
pháp huấn luyện tập trung dữ liệu với huấn luyện
theo phương pháp FL + GAN. Có thể thấy, với cùng
một bộ dữ liệu, phương pháp tiếp cận của chúng tôi
có khả năng tạo ra mô hình máy học với độ chính
xác tương đương vơi phương pháp huấn luyện truyền
thống.
Hình 2. Sự tương đồng giữa dữ liệu gôc và dữ liệu được tạo ra D. Hiệu năng Blockchain
từ 4 thuộc tính (từ trái sang: FlowDuration, TotalLengthBwdPacket,
PacketLengthMean, PacketLengthStd) Chúng tôi đánh giá hiệu suất của hệ thống Blockchain
thông qua mức tiêu thụ tài nguyên CPU và thời gian xử
Thử nghiệm này cho thấy khả năng của GAN trong lý trong một số ngữ cảnh cụ thể.
việc tự động tạo ra các lưu lượng mạng mới gần Để xác định mức tiêu thụ tài nguyên CPU của hệ thống
giống với các lưu lượng đầu vào. Hình 2 cho thấy khi hoạt động, chúng tôi tiến hành thử nghiệm trong ngữ
sự tương đồng giữa bộ dữ liệu CICIDS2017Train cảnh 20 người dùng liên tục gửi yêu cầu đăng ký một tác
gốc và các luồng mạng được tạo trong bốn thuộc vụ và đo mức tiêu thụ trong mỗi khoảng thời gian 0,1
tính gồm lowDuration, TotalLengthBwdPacket, Pack- giây. Kết quả được trình bày trong biểu đồ kết quả tiêu
etLengthMean, PacketLengthStd. thụ CPU trong Hình 3. Với mức độ tiêu thụ tài nguyên
• Đánh giá hiệu năng của Federated Learning CPU này, có thể thấy rằng hệ thống của chúng tôi có thể
Trong phần này, chúng tôi huấn luyện mô hình máy vận hành tốt trong ngữ cảnh có nhiều thiết bị cùng tham
học với FL trong trường hợp có và không có GAN gia vào hệ thống.
ISBN 978-604-80-5958-3 156
- Hội nghị Quốc gia lần thứ 24 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2021)
khung giải pháp đảm bảo quyền riêng tư và bảo mật dữ
liệu, cùng với đó là một hệ sinh thái khuyến khích giúp
tận dụng được nguồn dữ liệu đào tạo từ cộng đồng. Giải
pháp tạo ra một môi trường chia sẻ dữ liệu đáng tin cậy,
liên kết những chủ sở hữu có bộ dữ liệu cùng loại để thực
hiện một nhiệm vụ huấn luyện cụ thể. Kết quả phân tích
và thử nghiệm của chúng tôi đã chứng minh rằng giải pháp
có thể cho phép chia sẻ dữ liệu an toàn và hiệu quả, đồng
thời tận dụng các nguồn dữ liệu đa dạng từ cộng đồng.
Bên cạnh đó, để triển khai giải pháp vào thực tế còn rất
nhiều vấn đề cần khắc phục. Trong tương lai,chúng tôi dự
định sẽ tích hợp điện toán biên di động (MEC) vào mô
hình FedChain giúp giảm chi phí liên lạc và truyền tải dữ
liệu của hệ thống. Ngoài ra, chúng tôi cũng mong muốn
Hình 3. Kết quả mức độ tiêu thụ CPU triển khai giải pháp để bảo vệ hệ thống khỏi các cuộc tấn
công phá hoại mô hình toàn cục.
Để đo lường hiệu suất thời gian xử lý của hệ thống,
LỜI CẢM ƠN
chúng tôi lần lượt đo thời gian xử lý trong ngữ cảnh 10,
20, 50 người dùng liên tục gửi yêu cầu đăng ký tác vụ tới Cảm ơn sự hỗ trợ của UIT InSecLab - Wanna.One
hệ thống. Các phép đo được lặp lại 3 lần để đảm bảo độ Hacking Community trong quá trình thực hiện đề tài.
chính xác. Kết quả được trình bày trong Bảng III. TÀI LIỆU THAM KHẢO
Bảng III [1] Dinh C. Nguyen, Ming Ding, Pubudu N. Pathirana, Aruna Senevi-
KẾT QUẢ THỜI GIAN XỬ LÝ CỦA HỆ THỐNG ( GIÂY ) ratne, Jun Li, and H. Vincent Poor, "Federated Learning for Internet
of Things: A Comprehensive Survey," IEEE Communications Sur-
Lần đo 1 Lần đo 2 Lần đo 3 veys & Tutorials, vol. 23, no. 3, p. 1622–1658, 2021.
10 Người dùng 0.0602312 0.059109 0.059569 [2] C. Nguyen, M. Ding, P. N. Pathirana, A. Seneviratne, J. Li, D.
Niyato and H. V. Poor, "Federated Learning for Industrial Internet
20 Người dùng 0.103943 0.101376 0.112528
of Things in Future Industries," IEEE Wireless Communications
50 Người dùng 0.336669 0.384335 0.297349
Magazine, vol. abs/2105.14659, 2021.
[3] Rui Wang, Heju Li, Erwu Liu, "Blockchain-Based Federated Learn-
ing in Mobile Edge Networks with Application in Internet of
Với kịch bản trên, chúng tôi tiến hành đo hiệu suất xử Vehicles," ArXiv, vol. abs/2103.01116, 2021.
[4] Y. Lu, X. Huang, Y. Dai, S. Maharjan and Y. Zhang, "Blockchain
lý tác vụ gửi mô hình kích thước 2MB lên máy chủ tổng and Federated Learning for Privacy-Preserved Data Sharing in
hợp. Kết quả thu được cho thấy hệ thống mất trung bình Industrial IoT," in IEEE Transactions on Industrial Informatics, vol.
25,19693 giây để xử lý một yêu cầu. Bước đầu tiên, hệ 16, no. 6, pp. 4177-4186, 2020.
[5] S. Kumar, S. Dutta, S. Chatturvedi and M. Bhatia, "Strategies for
thống lưu trữ mô hình vào IPFS, sau đó tiến hành ghi dữ Enhancing Training and Privacy in Blockchain Enabled Federated
liệu vào Blockchain. Chúng tôi đã tính toán và nhận thấy Learning," 2020 IEEE Sixth International Conference on Multime-
rằng, phần lớn thời gian dành cho việc tải mô hình lên dia Big Data (BigMM), pp. 333-340 , 2020.
[6] Y. Zhan, J. Zhang, Z. Hong, L. Wu, P. Li and S. Guo, "A Survey
IPFS (25,19693 s/request) trong khi hệ thống Blockchain of Incentive Mechanism Design for Federated Learning," IEEE
hoạt động rất tốt (0,018419 s/request). Tuy nhiên, việc tải Transactions on Emerging Topics in Computing, 2021.
mô hình lên IPFS hoàn toàn phụ thuộc vào tốc độ kết nối. [7] Viraaji Mothukuri, Reza M. Parizi, Seyedamin Pouriyeh, Yan
Huang, Ali Dehghantanha and Gautam Srivastava, "A survey on
Từ đó có thể kết luận rằng, hệ thống của chúng tôi vẫn có security and privacy of federated learning," Future Generation
khả năng đáp ứng tốt. Computer Systems, vol. 115, pp. 619-640, 2021.
Từ kết quả thực nghiệm trên, có thể thấy, hệ thống của [8] Dinesh C. Verma, Graham White, Simon Julier, Stepehen Pasteris,
Supriyo Chakraborty, Greg Cirincione, “Approaches to address the
chúng tôi có khả năng phối hợp các thành viên tham gia data skew problem in federated learning,” Artificial Intelligence
vào mạng FedChain để tạo ra những mô hình máy học với and Machine Learning for Multi-Domain Operations Applications,
chất lượng tốt mà vẫn đảm bảo được quyền riêng tư cá vol. 11006. International Society for Optics and Photonics, 2019.
[9] Kurniabudi, Deris Stiawan, Darmawijoyo, Mohd Yazid Bin Idris,
nhân. Bên cạnh đó, hệ thống có tiềm năng trong việc triển Alwi M.Bamhdi, and Rahmat Budiarto, "CICIDS-2017 Dataset
khai vào các lĩnh vực lớn như Smart city khi kết quả về Feature Analysis With Information Gain for Anomaly Detection,"
hiệu năng cho thấy với số lượng người dùng lớn hệ thống in IEEE Access,vol. 8, pp. 132911-132921, 2020.
[10] Andrew Hard, Kanishka Rao, Rajiv Mathews, Swaroop Ra-
vẫn có khả năng phản hồi tốt. maswamy, Franc¸oise Beaufays, Sean Augenstein, Hubert Eichner,
Chloé Kiddon, Daniel Ramage, "Federated Learning for Mobile
V. KẾT LUẬN Keyboard Prediction," arXiv, vol. abs/1811.03604, 2019.
Cùng với sự phát triển của ngành công nghiệp trí tuệ [11] Z. Shi, H. Zhou, Y. Hu, S. Jayachander, C. de Laat and Z. Zhao,
"Operating Permissioned Blockchain in Clouds: A Performance
nhân tạo, dữ liệu mà người dùng chia sẻ đóng vai trò quan Study of Hyperledger Sawtooth," 2019 18th International Sympo-
trọng trong việc xây dựng các hệ sinh thái và chương trình sium on Parallel and Distributed Computing (ISPDC), pp. 50-57,
thông minh. Trong bài báo này, chúng tôi đã đề xuất bộ 2019.
ISBN 978-604-80-5958-3 157
nguon tai.lieu . vn
