Xem mẫu
- Hội nghị Quốc gia lần thứ 24 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2021)
ỨNG DỤNG AI-VISION PHÁT HIỆN SỰ CỐ TRÊN BĂNG
CHUYỀN TRONG NHÀ MÁY SẢN XUẤT THÔNG MINH
Đinh Hữu Đức, Nguyễn Văn Thành, Đinh Triều Dƣơng, Hoàng Văn Xiêm
Khoa Điện tử - Viễn thông, trƣờng Đại học Công nghệ, Đại học Quốc Gia Hà Nội
Email: hducbkeee92@gmail.com, nvthanhch1@gmail.com, duongdt@vnu.edu.vn, xiemhoang@vnu.edu.vn
Tóm tắt—Ngày càng có nhiều sự quan tâm đến của Deloittecho[5] cho thấy chỉ 5% các nhà sản xuất
ý tưởng về các nhà máy thông minh với 92% giám Hoa Kỳ đã chuyển đổi hoàn toàn ít nhất một nhà máy
đốc điều hành sản xuất tin rằng đây là con đường thông minh, trong khi khoảng 30% báo cáo các sáng
của tương lai, với lượng dữ liệu đang tăng lên từng kiến nhà máy thông minh đang diễn ra. AI là rất quan
ngày mô hình nhà máy thông minh là một môi trọng đối với việc kích hoạt nhà máy thông minh và
trường nơi máy móc và thiết bị có thể cải thiện quy việc triển khai AI trong các hoạt động công nghiệp
trình thông qua tự động hoá và tối ưu hoá, do đó cũng là một thách thức lớn [5].
cần tận dụng các giải pháp thông minh hơn để làm Hiện nay, nhiều máy móc đã vƣợt qua khả năng
cho toàn bộ quy trình của nhà máy hiệu quả và có nhận diện, phân tích hình ảnh bằng mắt thƣờng của
thể mở rộng. Cho đến thời điểm hiện tại thì công con ngƣời. Thị giác máy tính đƣợc xem là một trong
nghệ trí tuệ nhân tạo (AI) đang mang đến cho các những lĩnh vực thuộc AI và mang lại nhiều ứng dụng
nhà máy sản xuất một khả năng chưa từng có để thực tiễn cho cuộc sống của con ngƣời. Một số ứng
đẩy mạnh năng lực sản xuất, tối ưu hóa chuỗi cung dụng phổ biến trong đời sống con ngƣời đƣợc nhiều
ứng và tăng tốc độ nghiên cứu và phát triển, nhưng ngƣời biết đến nhƣ nhận diện giao thông [7], nhận
thực tế thì chưa có nhiều nghiên cứu và ứng dụng diện biển số xe, nhận diện mặt ngƣời hoặc nhận diện
AI trong nhà máy sản xuất thông minh. Để giải các đồ vật, loài cây, hoa [6].
quyết việc đưa ra các giải pháp thông minh hơn Trong bài viết này chúng tôi xin đề xuất một
trong nhà máy sản xuất, trong bài báo này chúng nghiên cứu về việc ứng dụng AI-Vision trong việc
tôi đề xuất hệ thống ứng dụng AI – Vision để giám nhận diện và cảnh báo tình trạng sản phẩm trên dây
sát và phát hiện với khoảng cách sản phẩm nằm sát chuyền sản xuất điện thoại di động trong nhà máy
mép băng chuyền
- Hội nghị Quốc gia lần thứ 24 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2021)
liệu chuẩn và đa dạng, do đó phƣơng pháp đƣợc đề chuyển trên băng tải sau đó đƣợc camera chụp và ghi
xuất này của chúng tôi hoàn toàn hứa hẹn tính chính lại gửi về cho PC thông qua hệ thống truyền thông
xác cao do mô hình học máy có đƣợc dựa trên bộ dữ TCP/IP bởi các dây kết nối, tại đây máy tính có nhiệm
liệu rất dồi dào trong quá trình sản xuất của nhà máy vụ là trung tâm điều khiển tiếp nhận hình ảnh từ
vì vậy việc đào tạo trở nên rất dễ dàng và khả năng camera gửi về, xử lý, phát hiện và gán nhãn cho sản
phát hiện lỗi phát sinh đạt hiệu quả cao nhất. phẩm điện thoại đã đặt OK hay NG tƣơng ứng trên
băng tải. Phƣơng pháp và thuật toán để xử lý hình ảnh
phân loại sản phẩm đƣợc sử dụng trong bài báo này
dựa vào hai thuật toán SVM và CNN đƣợc triển khai
trên ngôn ngữ python và thƣ viện xử lý ảnh OpenCV.
Dƣới đây là một số thông số chi tiết trong thành phần
hệ thống vision trong phƣơng án đƣợc đề xuất:
Camera : Basler Ace 2 Pro – 10 Megapixel –
60 fps (khung hình trên giây)
PC : Intel® Core™ i7-4800MQ @2.7 GHz ,
RAM 4 GB, hệ điều hành Window 10, 64-bit
Môi trường kiểm thử: Anacoda 3 - python 3,
openCV 2
Băng chuyền : Kích thƣớc 500x1600mm
Dây kết nối.
Hình 2: Mô tả hệ thống
Hình 1: Mô tả hệ thống ứng dụng AI-Vision vào
việc quản lý và cảnh báo các trường hợp gây lỗi
sản phẩm trên băng chuyền. B. Mô tả cách xác định sản phẩm
Trong phần tiếp theo của bài báo này, chúng tôi
trình bày về đề xuất hệ thống ứng dụng AI-Vision vào
phát hiện lỗi trên băng tải (phần II) và các phƣơng
pháp AI để đào tạo sẽ đƣợc giới thiệu trong phần III.
Tiếp đó, phần IV sẽ trình bày về kết quả thực nghiệm
thực tế và các phân tích đánh giá, đây là cơ sở cho
phần kết luận chúng tôi nêu trong phần V.
II. ĐỀ XUẤT HỆ THỐNG
A. Xây dựng hệ thống Hình 3: Mô tả trạng thái sản phẩm [OK] [NG]
Để quan sát xác định đƣợc lỗi có phát sinh đối với
sản phẩm hay không, trong nghiên cứu của chúng tôi Cách tiếp cận đƣợc đề xuất trong nghiên cứu của
đề xuất sử dụng hệ thống AI-vision (hình 2), cách tiếp bài báo này để nhận biết sản phẩm điện thoại có lỗi hay
cận này đƣợc thực hiện để phân loại sản phẩm mà không đƣợc xử lý qua một PC nhƣ thể thiện trong hình
không làm thay đổi cấu trúc của dây chuyền sản xuất 2. Tại đây PC sẽ chứa tất cả tập dữ liệu đào tạo và kiểm
thực tế. Hệ thống vision của chúng tôi đƣợc đƣợc xây tra cùng với chƣơng trình phân loại để nhận hình ảnh
dựng bao gồm một camera có độ phân giải cao: 10 gửi về, các hình ảnh sẽ đƣợc thay đổi với cùng kích
megapixel với tốc độ xử lý 60 fps (khung hình trên thƣớc và đƣợc xử lý để đƣa ra phán định. Các lỗi đƣợc
giây) và một nguồn sáng từ đèn Led để đảm bảo độ xem xét trong phân loại ở đây đƣợc chia thành 2 loại
sáng không bị biến đổi nhiều trong quá trính quan sát chính : OK (All correct) và NG (Not good), trong loại
sản phẩm. Mỗi panel (sản phẩm điện thoại) đƣợc vận sản phẩm [NG] gồm 2 loại lỗi điện thoại đặt sát mép
ISBN 978-604-80-5958-3 329
- Hội nghị Quốc gia lần thứ 24 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2021)
băng tải hoặc điện thoại bị đặt xếp chồng lên nhau chi Kết hợp hai điều kiện trên, có y(w.x + b)>= 1.
tiết thể hiện trong hình 3. Sản phẩm OK là sản phẩm Khoảng cách của siêu phẳng và đến là .
không nằm sát mép của băng tải với khoảng cách
>8mm và không bị đặt chồng lấn tác động vào nhau. Cần tìm siêu phẳng với lề lớn nhất, là giải bài toán
Cách phân loại sản phẩm [OK] hay [NG] này dựa theo tối ƣu tìm w và b sao cho: đạt cực đại với ràng
kinh nghiệm và dữ liệu chạy trực tiếp trong dây truyền
buộc (w. + b) >= 1. Tƣơng đƣơng với bài toán cực
nhà máy dựa trên đó để thiết lập tập dữ liệu đào tạo.
Các sản phẩm OK sau đó sẽ tiếp tục đƣợc robot gắp đi, tiểu hóa: với điều kiện: (w. + b) ≥ 1, mọi
còn đối với trƣờng hợp phát sinh NG hệ thống sẽ dừng i=1…r. Lời giải cho bài toán tối ƣu này là cực tiểu hóa
và cảnh báo để đƣợc khắc phục kịp thời. hàm Lagrange:
III. CÁC PHƢƠNG PHÁP AI-VISION
L(w,b,α)= | | ∑ α (| | )
A. Phương pháp sử dụng thuật toán SVM
SVM là một giải thuật máy học dựa trên lý thuyết Trong đó, α là các hệ số Lagrange, α≥0.
học thống kê do Vapnik and Chervonenkis (1974), Lời giải tìm siêu phẳng tối ƣu trên có thể mở rộng
Vapnik (1999) xây dựng. Bài toán cơ bản của SVM là trong trƣờng hợp dữ liệu không thể tách rời tuyến tính
bài toán phân loại hai lớp: Cho trƣớc r điểm trong bằng cách ánh xạ dữ liệu vào một không gian có số
không gian n chiều (mỗi điểm thuộc vào một lớp kí chiều lớn hơn bằng cách sử dụng một hàm nhân K
hiệu là +1 hoặc –1), mục đích của giải thuật SVM là (kernel). Một số hàm nhân thƣờng dùng nhƣ:
tìm một siêu phẳng (hyperplane) phân hoạch tối ƣu - Hàm tuyến tính có dạng K(x,y)=x.y
cho phép chia các điểm này thành hai phần sao cho - Hàm đa thức có dạng K(x.y)= )
các điểm cùng một lớp nằm về một phía với siêu - Hàm RBF (Radial Basis Function) có dạng
phẳng này [8]. Hình 4 cho một minh họa phân lớp với
SVM trong mặt phẳng. K(x, y) =
Với khả năng vƣợt trội của SVM về tính hiệu quả,
độ chính xác, khả năng xử lý các bộ dữ liệu một cách
linh hoạt, việc sử dụng máy vectơ hỗ trợ SVM đã và
đang là sự lựa chọn tối ƣu nhất trong việc giải quyết
các bài toán phân loại/dự báo trong một số các ngành
khoa học [9]. Bài viết này áp dụng phƣơng pháp phân
lớp sử dụng máy vectơ hỗ trợ SVM cho bài toán cảnh
báo trên dây chuyền sản xuất điện thoại.
Hình 4: Ví dụ minh họa phân lớp với SVM.
Xét tập r mẫu huấn luyện {( , ), ( , ),…
( , )}. Trong đó là một vector đầu vào đƣợc biểu Hình 5: Áp dụng thuật toán SVM trong việc cảnh báo
diễn trong không gian X , là một nhãn lớp; các trường hợp sản phẩm lỗi trên băng chuyền
1,1. Siêu phẳng tối ƣu phân tập dữ liệu này
thành hai lớp là siêu phẳng có thể tách rời dữ liệu Bƣớc 1: Đọc dữ liệu ảnh.
thành hai lớp riêng biệt với lề (margin) lớn nhất. Tức Bƣớc 2: Sử dụng thuật toán HOG (Histogram Of
là, cần tìm siêu phẳng : y = w.x + b = 0 và hai siêu Oriented Gradient). Thuật toán này sẽ tạo ra các
phẳng , hỗ trợ song song với và có cùng bộ mô tả đặc trƣng nhằm mục đích phát hiện vật
khoảng cách đến . Với điều kiện không có phần tử thể. Từ một bức ảnh, ta sẽ lấy ra 2 ma trận quan
nào của tập mẫu nằm giữa và , khi đó: trọng giúp lƣu thông tin ảnh đó là độ lớn gradient
: w.x + b >= +1 với y = +1 (gradient magnitute) và phƣơng của gradient
(gradient orientation). Bằng cách kết hợp 2 thông
: w.x + b >= -1 với y = -1 tin này vào một biểu đồ phân phối histogram,
trong đó độ lớn gradient đƣợc đếm theo các nhóm
bins của phƣơng gradient. Cuối cùng ta sẽ thu
ISBN 978-604-80-5958-3 330
- Hội nghị Quốc gia lần thứ 24 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2021)
đƣợc véc tơ đặc trƣng HOG đại diện cho
histogram [10].
OK (All correct)
NG (Not good)
Hình 6: Histogram Of Oriented Gradient
Bƣớc 3: Áp dụng thuật toán SVM để phân loại
ảnh trƣờng hợp NG và OK.
Bƣớc 4: Gán Label.
B. Phương pháp CNN
Convolutional Neural Network (CNNs – Mạng nơ-ron Hình 7: Mô hình CNN
tích chập) [11] là một trong những mô hình Deep
Learning tiên tiến, giúp cho chúng ta xây dựng đƣợc Mô hình CNN mà chúng tôi áp dụng gồm có 4 loại
những hệ thống thông minh với độ chính xác cao. Vì layers [12]:
vậy trong bài toán nhận diện ảnh này chúng tôi áp
dụng một mô hình CNN vào để nhận biết việc điện Conv+Relu: Áp dụng cho layer Ci (i=1,2). Phép tích
thoại đặt [OK] hay [NG] trên băng tải hay không, cấu chập trƣớc tiên đƣợc thực hiện để tạo ra 2(i + 5) bản đồ
trúc mô hình CNN đƣợc thể hiện trong hình 6. Trong đối tƣợng (feature maps). Sau đó hàm kích hoạt Relu
mô hình này hình ảnh đầu vào đƣợc tiền xử lý thay đổi (rectified linear unit) đƣợc sử dụng cho tính phi tuyến.
đƣa về cùng một kích thƣớc 64*64 pixel sau đó đƣợc Max pooling: Mạng sử dụng layer max pooling 2*2
đƣa vào 2 lớp tích chập với số bộ lọc lần lƣợt là 64 và với bƣớc nhảy (stride) là 1, dùng để trích xuất mẫu của
128 có kích thƣớc kernel 3*3 và bƣớc nhảy là 1, cùng bản đồ đối tƣợng.
với đó hàm kích hoạt Relu đƣợc sử dụng cho tính phi Full Connection: Layer này chúng tôi áp dụng hàm
tuyến của mạng, tiếp đó hàm Maxpooling 2*2 đƣợc áp Flatten và Dense để kết nối toàn bộ các node trong đầu
dụng để lấy đặc điểm nổi bật nhất và giảm kích thƣớc ra của mạng.
chiều dài, chiều rộng đi một nửa. Sau đó các node của Output layer: Layer này kết nối hoàn toàn với layer
mạng sẽ đƣợc kết nối toàn bộ và làm phẳng thông qua trƣớc đó (Layer full connection) và xuất ra vector 2*1
hàm Flatten và Dense của lớp Full connection, cuối là xác xuất phân loại của đầu ra sử dụng hàm softmax.
cùng ở lớp ouput chúng tôi sử dụng hàm softmax để
dự đoán xác xuất các node tại đầu ra.
IV. KẾT QUẢ VÀ ĐÁNH GIÁ
Để đánh giá độ chính xác của các mô hình chúng tôi
đã thực hiện việc mô phỏng và kiểm thử trên bộ dữ
liệu gồm 350 chụp thực tế chia làm 2 tập training và
testing trong đó dữ liệu training gồm 140 ảnh OK và
ISBN 978-604-80-5958-3 331
- Hội nghị Quốc gia lần thứ 24 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2021)
100 ảnh NG và tập testing gồm 110 ảnh với tỉ lệ suất thiết bị tốt trong các dây chuyền công nghiệp hiện
OK/NG là 50/60. Số lƣợng cụ thể đƣợc thể hiện ở đại và nghiêm ngặt.
bảng 1.
Bảng 1: Dữ liệu đánh giá TÀI LIỆU THAM KHẢO
Hạng mục Phân loại Training Testing Total [1] PhilippOsterrieder, LukasBudde, ThomasFriedli, “The smart
factory as a key construct of industry 4.0: A systematic
OK 140 50 190 literature review” International Journal of Production
Số lƣợng Economics, Volume 221, March 2020, 107476
NG 100 60 160
ảnh [2] Petrillo, A.; De Felice, F.; Cioffi, R.; Zomparelli, “Digital
Total 240 110 350 Transformation in Smart Manufacturing”, IntechOpen:
London, UK, 2018; pp. 1–20
Bảng 2 tổng hợp dữ liệu kết quả độ chính xác của [3] Michele Calì “Smart Manufacturing Technology” Department
of Electrical, Electronics and Computer Engineering (DIEEI),
các model trong các phƣơng pháp AI đƣợc sử dụng. University of Catania, 95124 Catania, Italy, Appl.
Chỉ với tập dự liệu training không quá lớn 350 ảnh Sci. 2021, 11(17), 8202
(140 ảnh OK và 100 ảnh NG) nhƣng độ chính xác đã [4] Chen, B., Wan, J., Shu, L., Li, P., Mukherjee, M., & Yin, B.
đạt khá cao với Model SVM (kernel=”rbf”) đạt (2018). “Smart Factory of Industry 4.0: Key Technologies,
91,81% và model CNN 91,81%. Điều này hứa hẹn tỷ Application Case, and Challenges”. IEEE Access, 6, 6505–
6519. doi:10.1109/access.2017.2783682
lệ chính xác có thể cải thiện hơn rất nhiều nếu tập dữ
[5] Frank Herrmann. “The Smart Factory and Its Risks”. OTH
liệu đƣợc training đủ lớn và đang dạng hơn khi đƣợc Regensburg, Innovation and Competence Centre for
lấy từ trong nhà máy. Hơn nữa với tập dữ liệu đã có ở Production Logistics and Factory Planning, P.O. Box 120327,
trên thì thời gian huấn luyện khá nhanh trong khoảng 93025 Regensburg, Germany, Systems 2018, 6(4), 38;
từ 23s-25s đối với có model SVM và cao nhất là 64s https://doi.org/10.3390/systems6040038
đối với model CNN thêm vào đó thời gian xử lý dự [6] Yu Sun, Yuan Liu, Guan Wang, and Haiyan Zhang “Deep
Learning for Plant Identification in Natural Environment”
đoán xác định hình ảnh chỉ trong khoảng 0.1-0.2s 1School of Information Science and Technology, Beijing
(bảng 3) nên hoàn toàn đáp ứng đƣợc trong dây Forestry University, Beijing 100083, China 22 May 2017
chuyền khi sản xuất tự động liên tục của nhà máy. [7] MihainDaniel RADU, Ilona Madalina COSTEA, Valentin
Alexandru STAN “Automatic Traffic Sign Recognition
Artificial Inteligence - Deep Learning Algorithm” 25-27 June
Bảng 2: Độ chính xác của các mô hình (%) 2020
Số lƣợng Dự đoán Độ chính [8] Wun-Hwa Chen, Sheng-Hsun Hsu∗, Hwang-Pin Shen,
Phƣơng pháp
kiểm thử đúng xác (%) “Application of SVM and ANN for intrusion detection”
SVM(kernel="linear") 110 98 89.09% National Taiwan University, No. 1, Section 4, Roosevelt Road,
Taipei 106, Taiwan Accepted 29 March 2004
SVM(kernel="poly") 110 99 90%
[9] Durgesh K. Srivastava, Lekha Bhambh, “Data classification
SVM(kernel="rbf") 110 101 91.81%
using support vector machine” Journal of Theoretical and
SVM(kernel="sigmoid") 110 60 54.54% Applied Information Technology 12(1):1-7, february 2010.
CNN (20 epochs) 110 101 91.81% [10] N. Dalal and B. Triggs. ”Histograms of oriented gradients for
human detection” 2005 IEEE Computer Society Conference on
Computer Vision and Pattern Recognition (CVPR'05). 20-25
Bảng 3: Thời gian xử lý June 2005
Thời gian Thời gian dự [11] Saad Albawi, Tareq Abed Mohammed, Saad Al-Zawi,
Phƣơng pháp (Tiền xử lý - đoán “Understanding of a convolutional neural network”, 2017
Training) (second/Image) International Conference on Engineering and Technology
SVM(kernel="linear") 24.27 s 0.123 s (ICET), DOI: 10.1109/ICEngTechnol.2017.8308186
[12] Shyava Tripathi, Rishi Kumar, “Image Classification using
SVM(kernel="poly") 25.29 s 0.132 s small Convolutional Neural Network”, 2019 9th International
SVM(kernel="rbf") 23.74 s 0.113 s Conference on Cloud Computing, Data Science & Engineering
SVM(kernel="sigmoid") 24.92 s 0.127 s (Confluence), DOI: 10.1109/CONFLUENCE.2019.8776982
CNN (20 epochs) 64.03 s 0.105 s
V. KẾT LUẬN
Trong bài viết này chúng tôi đã nghiên cứu một số
phƣơng pháp (mô hình SVM, CNN) để áp dụng xác
định phát hiện điện thoại đặt OK, NG trên băng truyền
trong nhà máy. Qua kết quả thực nghiệm đã khẳng
định tính đúng đắn của phƣơng pháp đƣợc đề xuất, đây
là một phƣơng pháp cải tiến có khả năng áp dụng thực
tế cao và đồng loạt với độ chính xác đáng tin cậy rất
hữu ích cho việc đảm bảo chất lƣợng sản phẩm và hiệu
ISBN 978-604-80-5958-3 332
nguon tai.lieu . vn
