Xem mẫu
- Kỷ yếu Hội nghị KHCN Quốc gia lần thứ XIV về Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin (FAIR), TP. HCM, ngày 23-24/12/2021
DOI: 10.15625/vap.2021.0074
MỘT PHƯƠNG PHÁP TRA CỨU THÔNG TIN ẢNH KHUÔN MẶT
DỰA TRÊN ONTOLOGY
Nguyễn Văn Thịnh1, Đặng Văn Thành Nhân2, Đinh Thị Mận1, Nguyễn Thế Hữu1, Văn Thế Thành3
Khoa Công nghệ thông tin, Trường ĐH Công nghiệp thực phẩm TP. Hồ Chí Minh
1
2
Khoa Công nghệ thông tin, Trường ĐH Quốc tế Sài Gòn
3
Phòng Quản lý khoa học và Đào tạo sau đại học, Trường ĐH Công nghiệp thực phẩm TP. Hồ Chí Minh
{thinhnv, mandt, huunt, thanhvt}@hufi.edu.vn, dangvanthanhnhan@siu.edu.vn
TÓM TẮT: Trong bài báo này, một phương pháp tra cứu ảnh khuôn mặt được đề xuất theo tiếp cận phân lớp ảnh đầu vào,
từ đó truy vấn thông tin và tập ảnh tương tự trên Ontology. Đầu tiên, đặc trưng HOG (Histogram of Oriented Gradient) được trích
xuất từ tập dữ liệu ảnh để huấn luyện bộ phân lớp SVM (Support Vector Machine) nhằm nhận dạng hình ảnh. Sau đó, một Ontology
mô tả tập dữ liệu ảnh được xây dựng bán tự động phục vụ tra cứu thông tin và tìm kiếm tập ảnh tương tự. Cuối cùng, câu truy vấn
SPARQL được tạo ra một cách tự động từ phân lớp của ảnh đầu vào để thực hiện truy vấn trên Ontology đã xây dựng. Nhằm minh
chứng tính hiệu quả của phương pháp đề xuất, thực nghiệm được xây dựng và đánh giá trên tập dữ liệu ảnh Yale Face và ảnh sinh
viên Trường Đại học Công nghiệp thực phẩm TP. Hồ Chí Minh (HUFI). Kết quả thực nghiệm đã cho thấy tính khả thi và hiệu quả
của phương pháp, đồng thời dễ dàng mở rộng cho việc tra cứu các thông tin liên quan đến học thuật.
Từ khóa: Image retrieval, Ontology, SPARQL, face recognition, SVM, HOG.
I. GIỚI THIỆU
Hiện nay, vấn đề tra cứu thông tin của học sinh, sinh viên, học viên (người học) nói chung và tại Trường Đại
học Công nghiệp thực phẩm TP. Hồ Chí Minh (HUFI) nói riêng thường được thực hiện bằng cách nhập thông tin định
danh cá nhân (ví dụ tên truy cập và mật khẩu) qua giao diện ứng dụng sau đó thực hiện tra cứu. Điều này gây mất thời
gian thao tác và phải nhớ thông tin định danh, đồng thời còn gặp các vấn đề rắc rối khi quên hoặc để lộ thông tin định
danh. Bên cạnh đó, các trường cũng tổ chức cơ sở dữ liệu riêng để phục vụ nhu cầu tra cứu cho người học tại đơn vị
mình dẫn đến khó khăn khi dữ liệu tăng trưởng và việc tích hợp hệ thống dùng chung cho nhiều cơ sở đào tạo. Theo
thống kê của Bộ Giáo dục và Đào tạo, năm học 2019 - 2020, cả nước có hơn 24 triệu học sinh sinh viên, tăng hơn 500
ngàn so với năm học trước [35]. Vì vậy, nhu cầu tra cứu thông tin thuận tiện, nhanh chóng của người học là rất lớn và
cần có giải pháp để giải quyết các vấn đề trên.
Bên cạnh đó sự phát triển của ngành khoa học dữ liệu đã làm cho ngành khoa học máy tính cũng thay đổi theo,
những ứng dụng mang tính trí tuệ nhân tạo ngày càng thâm nhập nhiều vào các lĩnh vực khác nhau, đặc biệt trong việc
xử lý ảnh và thị giác máy tính [32]. Nhiều hệ thống ứng dụng sử dụng đặc trưng sinh trắc học như: vân tay, mống mắt,
vân lòng bàn tay, nhận dạng khuôn mặt ngày càng đóng vai trò quan trọng trong các lĩnh vực kinh tế, giáo dục, y tế, an
ninh, quốc phòng.... Trong đó, nhận diện khuôn mặt được ứng dụng rộng rãi nhờ những ưu điểm nổi bật như dễ dàng
thu thập hình ảnh không tiếp xúc, dễ dàng nhận biết và kiểm chứng một cách trực quan [27, 37].
Nhiều hệ thống nhận dạng khuôn mặt đã được công bố và ứng dụng trong nhiều lĩnh vực khác nhau như: nhận
dạng khuôn mặt trực tiếp và ứng dụng trong mở cửa tự động [28], nhận dạng khuôn mặt sử dụng phương pháp tìm
kiếm ảnh tương tự theo nội dung áp dụng cho các hệ thống bảo mật thông minh [13], giải pháp điểm danh sinh viên
bằng nhận dạng gương mặt với đặc trưng Haar-like kết hợp thuật toán rừng ngẫu nhiên [22],... Khi đã định danh được
một đối tượng qua hình ảnh, nhu cầu cần thiết khác là tra cứu các thông tin liên quan đến đối tượng đó. Một tiếp cận
được nhiều nhóm nghiên cứu quan tâm trong những năm gần đây là tổ chức và tra cứu thông tin dựa trên Ontology
như: ứng dụng Ontology trong tìm kiếm thông tin trên Web [39], hệ thống truy vấn thông tin đa phương tiện dựa trên
khái niệm ứng dụng trong tìm kiếm di sản văn hóa [12], hệ thống tra cứu thông tin nông nghiệp thông minh dựa trên
Ontology [29],… Vấn đề tra cứu thông tin liên quan đến Trường Đại học nói chung và sinh viên nói riêng cũng có
nhiều công trình đã công bố [9, 11, 23, 36]. Tuy nhiên, tất cả các công trình đều xử lý thông tin dạng văn bản (text) và
tra cứu bằng ngôn ngữ SPARQL dẫn đến không thuận tiện cho người dùng. Do đó, việc cần có một hệ thống tra cứu
thông tin qua hình ảnh là yêu cầu cấp thiết và có ứng dụng rộng rãi trong thực tế.
Thách thức đầu tiên của hệ truy vấn thông tin qua ảnh hình ảnh là việc trích xuất đặc trưng và nhận dạng khuôn
mặt chính xác [14]; thách thức thứ hai là đó là cấu trúc lưu trữ thông tin hình ảnh để tra cứu nhanh và dễ mở rộng khi
dữ liệu ảnh tăng trưởng [16, 31]. Trong bài báo này, một phương pháp tra cứu thông tin qua ảnh khuôn mặt dựa trên
phương pháp phân lớp và Ontology được xây dựng nhằm truy vấn nhanh và đảm bảo độ chính xác, đồng thời dễ dàng
mở rộng cho bài toán dữ liệu lớn. Đóng góp của bài báo gồm: (1) Xây dựng Ontology mô tả tập dữ liệu ảnh dựa trên
ngôn ngữ bộ ba RDF/XML; (2) đề xuất phương pháp rút trích đặc trưng ảnh khuôn mặt và huấn luyện bộ phân lớp
SVM cho bài toán nhận diện khuôn mặt; (3) đề xuất mô hình tra cứu thông tin qua ảnh khuôn mặt dựa trên các cơ sở lý
thuyết và thuật toán đã xây dựng; (4) xây dựng ứng dụng thực nghiệm về mô hình tra cứu thông tin ảnh khuôn mặt trên
bộ dữ liệu Yale Face và sinh viên HUFI.
- Nguyễn Văn Thịnh, Đặng Văn Thành Nhân, Đinh Thị Mận, Nguyễn Thế Hữu, Văn Thế Thành 317
Phần còn lại của bài báo gồm: Phần II đề cập đến các công trình nghiên cứu liên quan nhằm phân tích tính khả
thi của phương pháp đề xuất; Phần III trình bày phương pháp nhận dạng ảnh khuôn mặt nhằm phân lớp ảnh đầu vào,
thuật toán trích xuất đặt trưng ảnh cũng được trình bày trong phần này; Phần IV giới thiệu phương pháp xây dựng
Ontology phục vụ tra cứu nhanh thông tin và tập ảnh tương tự; mô hình tra cứu thông tin qua ảnh khuôn mặt và thực
nghiệm được trình bày trong Phần V; kết luận và hướng phát triển được trình bày trong Phần VI.
II. CÁC CÔNG TRÌNH LIÊN QUAN
Có nhiều kỹ thuật nhận dạng khuôn mặt đã được ứng dụng rộng rãi trong nhiều lĩnh vực khác nhau như nhận
dạng ảnh khuôn mặt dựa trên mạng nơ-ron tích chập (Convolutional Neural Network - CNN) [8], nhận dạng khuôn mặt
sử dụng kỹ thuật Kernel Discriminant Analysis (KDA), k-NN và SVM [3], phát hiện và nhận dạng khuôn mặt sử dụng
thuật toán rừng ngẫu nhiên kết hợp với đặc trưng LBP và HOG [17], nhận dạng khuôn mặt sử dụng phép biến đổi cosin
rời rạc [33],… Bên cạnh đó, vấn đề tra cứu ngữ nghĩa hình ảnh trên Ontology cũng có nhiều phương pháp khác nhau
được nhiều nhóm nghiên cứu công bố như: tìm kiếm ảnh theo tiếp cận ngữ nghĩa dựa trên Ontology [18], tìm kiếm
hình ảnh dựa trên từ vựng thị giác và Ontology [10], mô hình tìm kiếm thông tin Trường Đại học dựa trên Ontology
[30],...
Hafiz Ahamed và cộng sự (2018) đã đề xuất một phương pháp nhận dạng khuôn mặt thời gian thực kết hợp giữa
Histogram of Oriented Gradient (HOG) và Convolutional Neural Network (CNN). HOG được sử dụng để phát hiện
khuôn mặt trong ảnh chụp từ webcam hoặc thiết bị mobile, vấn đề về tư thế và hình chiếu của khuôn mặt dẫn đến cùng
một người nhưng chụp với tư thế khác nhau có thể làm cho máy tính phát hiện là 2 khuôn mặt của 2 người khác nhau
được khắc phục bằng cách sử dụng 68 điểm mốc trên khuôn mặt (Face lanmark) để điều chỉnh khuôn mặt về chính diện.
Sau đó, mạng nơron tích chập được huấn luyện để nhận dạng khuôn mặt dựa trên các ảnh khuôn mặt đã trích xuất [1].
Phương pháp này có hạn chế là việc dùng kỹ thuật face landmark để phát hiện các điểm mốc trên khuôn mặt có thể dẫn
đến không chính xác khi ảnh được thực hiện các phép biến đổi hình học. Mặc khác, việc sử dụng mạng học sâu CNN để
phân lớp tốn nhiều chí phí huấn luyện và tập ảnh huấn luyện cũng đòi hỏi đủ lớn để có thể bao quát các trường hợp.
Mourad MOUSSA và cộng sự (2018) đã phát triển một hệ thống nhận dạng khuôn mặt bằng cách sử dụng giải
thuật di truyền kết hợp với phép biến đổi cosin rời rạc (Discrete Cosine Transform - DCT) và kỹ thuật phân tích thành
phần chính (Principal Component Analysis - PCA) để chọn lọc và giảm chiều đặc trưng nhằm tăng tốc độ và độ chính
xác. Thực nghiệm được đánh giá trên các tập dữ liệu ảnh ORL, UMIST và Yale Face để chứng minh tính hiệu quả của
phương pháp [20]. Hệ thống này có hạn chế là là việc trích xuất đặc trưng chưa xét đến đặc thù ảnh khuôn mặt và hệ
thống chỉ dừng lại ở mức phân lớp cho hình ảnh đầu vào, chưa hỗ trợ tra cứu thông tin liên quan đến các hình ảnh này.
Saeed Najafi Khanbebin và Vahid Mehrdad (2020) đã giới thiệu một hướng tiếp cận cho bài toán nhận dạng
khuôn mặt bằng cách dựa trên các mẫu cục bộ để trích xuất các đặc trưng có tính phân biệt cao hơn nhằm tăng độ chính
xác cho quá trình phân lớp. Kết quả thực nghiệm của phương pháp trên các tập dữ liệu ORL, Yale face và Faces94 có
độ chính xác lần lượt là 95,95%, 94,09% và 98,01% [21]. Công trình này cũng có hạn chế là chưa hỗ trợ tra cứu thông
tin liên quan đến hình ảnh đầu vào. Hơn nữa, việc chỉ trích xuất các mẫu đặc trưng cục bộ mà không xét đặc trưng toàn
cục sẽ dẫn đến sai sót trong một số trường hợp.
Yanti M. K. và cộng sự (2017) đã đề xuất mô hình tìm kiếm ảnh theo tiếp cận ngữ nghĩa với Ontology mờ đa
phương thức và Dbpedia nhằm nâng cao hiệu quả [19]. Ontology mờ được xây dựng bằng cách sử dụng các khái niệm
mô tả các đối tượng trong ảnh. Các khái niệm và hình ảnh được liên kết với nhau bằng các giá trị mờ trong Ontology.
Tuy nhiên, phương pháp này chỉ tìm kiếm trên từ khóa, không hỗ trợ tìm kiếm từ ảnh, do đó chưa liên kết được ngữ
nghĩa với đặc trưng cấp thấp. Đồng thời, Ontology chỉ xây dựng trên tập ảnh nhỏ với 5 phân lớp ngữ nghĩa, chưa đại
diện cho các tập ảnh lớn và đa dạng trong thực tế.
MA Ullah và cộng sự (2019) đã đề xuất một khung chung cho phát triển một Ontology và minh họa cụ thể bằng
việc xây dựng Ontology, Trường Đại học sử dụng phần mềm Protégé phiên bản 4.3. Ontoloy mô tả thông tin về việc
quản lý học tập và quản lý trong Trường Đại học, đồng thời cài đặt cơ chế lập luận qua logic mô tả dựa trên Fact++ và
Hermic 1.3.8 [36]. Kết quả của phương pháp này còn hạn chế là Ontology phải tạo bằng tay trên Protégé dẫn đến tốn
nhiều công sức và bị giới hạn của phần mềm. Bên cạnh đó, việc truy vấn thông tin cũng phải thực hiện bằng ngôn ngữ
SPARQL trên Protégé nên khó triển khai ứng dụng thực tế.
Trên cơ sở kế thừa từ các công trình đã có và khắc phục những hạn chế của các phương pháp liên quan đã công
bố, đồng thời tạo ra một hệ tra cứu thông tin qua ảnh khuôn mặt, chúng tôi đề xuất một mô hình tra cứu ảnh dựa trên
Ontology bằng cách phân lớp đặc trưng ảnh khuôn mặt trở thành nhãn lớp ngữ nghĩa bằng kỹ thuật SVM và chuyển đổi
thành câu lệnh truy vấn SPARQL để từ đó thực hiện truy vấn trên một Ontology của tập ảnh đã xây dựng.
III. PHƯƠNG PHÁP NHẬN DẠNG KHUÔN MẶT
Hình 1. Mô hình nhận dạng ảnh khuôn mặt
- 318 MỘT PHƯƠNG PHÁP TRA CỨU THÔNG TIN ẢNH KHUÔN MẶT DỰA TRÊN ONTOLOGY
Một hệ thống nhận dạng khuôn mặt bao gồm 3 thành phần chính: (1) Phát hiện khuôn mặt (face detection), (2)
rút trích đặc trưng (feature extraction) và (3) nhận diện khuôn mặt (face recognition) [14]. Trong bài báo này, một
phương pháp nhận khuôn mặt được đề xuất như Hình 1 gồm các bước như sau:
(1) Phát hiện khuôn mặt và các đối tượng trên khuôn mặt bằng mô hình Haar Cascade sử dụng đặc trưng Haar-
like;
(2) Trích xuất các đối tượng trên khuôn mặt bằng phương pháp Graph cut;
(3) Rút trích đặc trưng HOG cho ảnh;
(4) Huấn luyện thuật toán SVM để phân lớp véctơ đặc trưng của ảnh đầu vào.
A. Phát hiện khuôn mặt và trích xuất các đối tượng
Phát hiện khuôn mặt là việc xác định vị trí và kích thước khuôn mặt của một người trong ảnh số [15]. Các
phương pháp phát hiện khuôn mặt có thể gom thành 2 loại chính, đó là phương pháp truyền thống dựa trên việc trích
xuất đặc trưng thủ công (hand-crafted features) và phương pháp dựa trên học sâu (deep learning) [40]. Trong đó, các
phương pháp thuộc loại truyền thống như: Haar-like, SURF, HoG, LBP,...; các phương pháp dựa trên học sâu tiêu biểu
gồm: CNN, faster R-CNN, YOLO, UnitBox,..
Kết quả cho thấy các phương pháp dựa trên học sâu hiệu quả khi nhận dạng các ảnh khuôn mặt có sự khác biệt
lớn, tuy nhiên các thuật toán này cần tập dữ liệu ảnh đủ lớn để huấn luyện và tốn kém nhiều chi phí huấn luyện. Mặt
khác, các phương pháp truyền thống lại có ưu điểm là tốc độ thực thi nhanh, độ chính xác khá cao trong trường hợp dữ
liệu tương đối chuẩn [40]. Trong bài báo này, mô hình Haar Cascade sử dụng đặc trưng Haar-like [24, 26] được sử
dụng để lấy vùng khuôn mặt trong ảnh và các đối tượng trên khuôn mặt như: mắt, mũi, miệng, chân mày,... nhằm biểu
diễn tốt hơn nội dung của hình ảnh. Cụ thể, mỗi ảnh đầu sẽ dùng mô hình Haar Cascade để định vị các đối tượng trên
khuôn mặt và trích xuất ra 10 ảnh đối tượng bằng phương pháp Grap-cut [25] gồm: khuôn mặt, khuôn mặt và đầu, mắt
trái, mắt phải, hai mắt, mũi, miệng, chân mày trái, chân mày phải và đôi chân mày. Các ảnh này làm đầu vào cho thuật
toán rút trích đặc trưng để làm cơ sở cho việc xây dựng mô hình nhận dạng ảnh khuôn mặt.
Hình 2. Ví dụ một ảnh đầu vào và ảnh phát hiện khuôn mặt cùng các đối tượng trên khuôn mặt
B. Trích xuất đặc trưng HOG từ ảnh khuôn mặt
Từ tập đối tượng đã trích xuất của với mỗi hình ảnh như trên, thuật toán HOG [4] được sử dụng để rút trích đặc
trưng của từng ảnh đối tượng, sau đó kết hợp lại thành một véctơ mô tả cho ảnh ban đầu. Đầu vào của thuật toán là ảnh
đa mức xám (gray scale), do đó bước xử lý đầu tiên là chuyển đổi ảnh trong không gian RGB (ảnh màu) sang ảnh đa
mức xám, kích thước ảnh được chuẩn hóa về 256x256 và chia thành các khối (block) kích thước 128x128. Bước tiếp
theo sẽ tính toán sự biến thiên màu sắc tại tất cả các pixel của ảnh theo chiều X và chiều Y của ảnh F với hàm kernel
𝑘𝑥 và 𝑘𝑦 như công thức (1), thu được 2 ảnh 𝐹𝑥 (đạo hàm theo trục x) và 𝐹𝑦 (đạo hàm theo trục y) có kích thước bằng
với kích thước ảnh gray-scale như công thức (2). Giá trị biên độ (G) và hướng của gradient (θ) được tính theo công
thức (3).
−1
𝑘𝑥 = [−1 0 1] 𝑘𝑦 = � 0 � (1)
1
𝐹𝑥 = 𝐹 ∗ 𝑘𝑥 ; 𝐹𝑦 = 𝐹 ∗ 𝑘𝑦 (2)
𝐹
|𝐺| = �𝐹𝑥2 + 𝐹𝑦2 𝑣à 𝜃 = 𝑡𝑎𝑛−1 � 𝑦 � (3)
𝐹 𝑥
Việc lưu trữ tất cả các giá trị hướng (orientation) của từng điểm ảnh (x, y) tốn nhiều chi phí và không mang lại
nhiều ý nghĩa, do vậy không gian hướng (góc) sẽ được chia thành các bin để giảm chi phí tính toán nhằm tăng tốc độ. Với
không gian hướng biến thiên trong miền từ 0o đến 180o được chia thành 9 bin như sau: [0o - 20o], [21o - 40o], [41o - 60o],
[61o - 80o], [81o - 100o], [101o - 120o], [121o - 140o], [141o - 160o], [161o - 180o]. Ứng với mỗi bin trên, tiến hành thống kê
biên độ (magnitude) tại từng vị trí. Bước tiếp theo tiến hành tính toán véctơ đặc trưng cho từng cell (mỗi cell được chọn
với kích thước 32×32 pixel hoặc 64×64 pixel) và sau đó ghép lại tạo thành véctơ đặc trưng biểu diễn cho một khối
(block). Tập lược đồ histogram của các block tạo thành bộ mô tả đặc trưng HOG cho ảnh khuôn mặt.
- Nguyễn Văn Thịnh, Đặng Văn Thành Nhân, Đinh Thị Mận, Nguyễn Thế Hữu, Văn Thế Thành 319
C. Huấn luyện bộ phân lớp SVM
Bước rút trích đặc trưng HOG từ tập ảnh khuôn mặt tạo ra tập dữ liệu có 𝑚 dòng, mỗi dòng có 𝑁 chiều và nhãn
(lớp) của ảnh. Đặc trưng này làm đầu vào để huấn luyện nhằm tạo ra mô mình phân lớp để nhận dạng ảnh đầu vào.
Support Vector Machine (SVM) được chọn để thực nghiệm vì đây là một phương pháp phân lớp hiệu quả giúp phân
loại dữ liệu có thể phân tách tuyến tính hoặc không tuyến tính [4, 6]. Nhiều công trình đã ứng dụng thành công SVM
trong nhiều lĩnh vực như phân loại văn bản, nhận dạng ảnh, sinh-tin học, nhận dạng chữ viết tay, nhận dạng khuôn
mặt... [4, 6].
Xét ví dụ phân lớp nhị phân với tập dữ liệu như sau:
𝒟 = {(𝒙𝑖 , 𝑦𝑖 ) | 𝒙𝑖 ∈ ℛ 𝑛 , 𝑦𝑖 ∈ {−1, 1}}𝑚
𝑖=1 , với siêu phẳng < wx > +b = 0
Thuật toán SVM [6, 7] sẽ tìm ra một siêu phẳng tối ưu được xác định bởi véctơ pháp tuyến w và độ lệch của
siêu phẳng với góc tọa độ b để tách dữ liệu thành 2 lớp. Để giải quyết vấn đề phân lớp đa lớp (số lớp từ 3 trở lên), thuật
toán SVM thường được mở rộng theo 2 phương pháp đó là one-vs-all và one-vs-one [5].
Trong thực nghiệm của bài báo này, thuật toán SVM được huấn luyện để phân lớp thành 𝑛 lớp (𝑛 > 2), sử dụng
2
kernel RBF, K�𝑥𝑖 , 𝑥𝑗 � = 𝑒 −𝛾(𝑥𝑖 −𝑥𝑗 ) ; hệ số C bằng 250 và Gamma bằng 0.0001; số lần lặp tối đa là 1000 và hệ số
epsilon bằng 0.0001. Tập dữ liệu được chia thành 2 phần, 80% dành cho huấn luyện và 20% dành cho kiểm thử mô hình.
IV. PHƯƠNG PHÁP XÂY DỰNG ONTOLOGY CHO DỮ LIỆU ẢNH
A. Tạo Ontology
Hình 3. Mô hình xây dựng Ontology mô tả dữ liệu ảnh sinh viên
Để trích xuất thông tin và tập ảnh tương tự của ảnh đầu vào, một Ontology miền mô tả ngữ nghĩa của tập dữ liệu
ảnh được tạo ra. Trong bài báo này, Ontology miền được xây dựng sử dụng ngôn ngữ bộ ba RDF/XML dựa trên ngữ
nghĩa trong tập dữ liệu ảnh sinh viên HUFI, mỗi ảnh được thiết kế là một cá thể thuộc về một lớp sinh viên và được
liên kết đến thông tin mô tả tương ứng. Mô hình xây dựng Ontology mô tả dữ liệu ảnh sinh viên HUFI được đề xuất
như trong Hình 3 gồm các bước như sau:
− Bước 1. (1), (2) Tạo phân cấp lớp từ thông tin tập dữ liệu sinh viên HUFI, cụ thể là Khoa-Ngành-Khóa-Sinh
viên như Hình 4.
Hình 4. Cấu trúc phân cấp lớp trong Ontology
− Bước 2. (3), (4) Trích xuất thông tin mô tả lớp và thông tin literals từ tập dữ liệu ảnh và WWW.
− Bước 3. (5) Thêm các thuộc tính, thông tin mô tả lớp và các cá thể vào Ontology.
- 320 MỘT PHƯƠNG PHÁP TRA CỨU THÔNG TIN ẢNH KHUÔN MẶT DỰA TRÊN ONTOLOGY
− Bước 4. (6) Các cá thể ảnh trong tập dữ liệu ảnh được phân lớp tự động dựa trên bộ phân lớp SVM đã huấn
luyện và thêm vào Ontology một cách tự động.
Các thuật toán để xây dựng Ontology bao gồm tạo các lớp, phân cấp lớp và các cá thể được mô tả như sau:
Thuật toán 1. Tạo lớp cho Ontology (CreateOC)
Đầu vào: C = {𝑐𝑖 , i = 1. . N}
Đầu ra: Ontology.
Function (𝐶)
Begin
For 𝑐𝑖 ∈ 𝐶 do
𝑆𝑢𝑏 = "sbir:" + 𝑐𝑖 ;
𝑃𝑟𝑒 = "rdf:type";
𝑂𝑏𝑗 = "owl:" + 𝑐𝑖 ;
𝑂𝑛𝑡𝑜𝑙𝑜𝑔𝑦 = 𝑂𝑛𝑡𝑜𝑙𝑜𝑔𝑦 ∪ 𝑇𝑟𝑖𝑝𝑙𝑒(𝑆𝑢𝑏, 𝑃𝑟𝑒, 𝑂𝑏𝑗) ;
End For
Return 𝑂𝑛𝑡𝑜𝑙𝑜𝑔𝑦;
End.
Độ phức tạp của Thuật toán 1 là 𝑂(𝑁), với 𝑁 là số lớp của Ontology.
Thuật toán 2. Tạo phân cấp lớp cho Ontology (CreateOCH)
Đầu vào: superClass, SubClass, Ontology.
Đầu ra: Ontology.
Function (𝐶)
Begin
For 𝑐𝑖 ∈ 𝐶 do
𝑆𝑢𝑏 = "sbir:" + 𝑐𝑖 ;
𝑃𝑟𝑒 = "rdf:subClassOf";
𝑂𝑏𝑗 = "owl:" + 𝑠𝑢𝑝𝑒𝑟𝐶𝑙𝑎𝑠𝑠;
𝑂𝑛𝑡𝑜𝑙𝑜𝑔𝑦 = 𝑂𝑛𝑡𝑜𝑙𝑜𝑔𝑦 ∪ 𝑇𝑟𝑖𝑝𝑙𝑒(𝑆𝑢𝑏, 𝑃𝑟𝑒, 𝑂𝑏𝑗) ;
End For
Return 𝑂𝑛𝑡𝑜𝑙𝑜𝑔𝑦;
End.
Độ phức tạp của Thuật toán 2 là 𝑂(𝑀 × 𝑁), với 𝑀 là số lớp và 𝑁 là số lớp con tương ứng của 𝑀 trong Ontology.
Thuật toán 3. Tạo các cá thể cho Ontology (CreateOCI)
Đầu vào: C = {𝑐𝑖 , i = 1. . N}, Individual, Ontology.
Đầu ra: Ontology.
Function (𝐶)
Begin
For 𝑐𝑖 ∈ 𝐶 do
𝑆𝑢𝑏 = "sbir:" + 𝐼𝑛𝑑𝑖𝑣𝑖𝑑𝑢𝑎𝑙. 𝐸𝑙𝑒𝑚𝑒𝑛𝑡𝐴𝑡(𝑖) ;
𝑃𝑟𝑒 = "rdf:type";
𝑂𝑏𝑗 = "owl:NamedIndividual";
𝑂𝑛𝑡𝑜𝑙𝑜𝑔𝑦 = 𝑂𝑛𝑡𝑜𝑙𝑜𝑔𝑦 ∪ 𝑇𝑟𝑖𝑝𝑙𝑒(𝑆𝑢𝑏, 𝑃𝑟𝑒, 𝑂𝑏𝑗) ;
End For
Return 𝑂𝑛𝑡𝑜𝑙𝑜𝑔𝑦;
End.
Độ phức tạp của Thuật toán 3 là 𝑂(𝑁), với 𝑁 là số cá thể trong Ontology.
Thuật toán 1 thực hiện tạo các class có trong Ontology gồm danh sách các khoa, ngành, khóa học và sinh viên.
Tiếp theo, mối quan hệ phân cấp giữa các class và subclass được tạo ra bằng Thuật toán 2. Tiếp đó đó, các cá thể ảnh
sau khi phân lớp tự động bằng bộ phân lớp SVM sẽ được thêm vào Ontology một cách tự động bởi Thuật toán 3.
Hình 5 mô tả cách hiển thị mô hình Ontology trực quan trong Protégé.
- Nguyễn Văn Thịnh, Đặng Văn Thành Nhân, Đinh Thị Mận, Nguyễn Thế Hữu, Văn Thế Thành 321
B. Truy vấn trên Ontology
Dựa trên nhãn lớp của ảnh đầu vào được nhận dạng từ bộ phân lớp SVM, câu truy vấn SPARQL được tạo ra để
thực hiện truy vấn trên Ontology nhằm tìm ra tập ảnh tương tự và ngữ nghĩa hình ảnh. Thuật toán tạo câu truy vấn
SPARQL để truy vấn thông tin sinh viên và tập ảnh tương tự trên Ontology được mô tả như sau:
Thuật toán 4. Truy vấn thông tin sinh viên (CSPARQLAno)
Đầu vào: Class label.
Đầu ra: Câu truy vấn 𝑆𝑃𝑅𝐴𝑄𝐿.
Function CSPARQL(𝑐𝑙𝑎𝑠𝑠𝐿𝑎𝑏𝑒𝑙)
Begin
𝑠𝑆𝑃𝐴𝑅𝑄𝐿 = "";
𝑠𝑆𝑃𝐴𝑅𝑄𝐿 += “SELECT DISTINCT ?FileAnotation +
WHERE { sbir: classLabel sbir: anoFilename ? FileAnotation .}”;
Return 𝑠𝑆𝑃𝐴𝑅𝑄𝐿;
End.
Thuật toán 5. Tìm kiếm tập ảnh tương tự (CSPARQLSI )
Đầu vào: Class label.
Đầu ra: Câu truy vấn 𝑆𝑃𝑅𝐴𝑄𝐿.
Function CSPARQL(𝑐𝑙𝑎𝑠𝑠𝐿𝑎𝑏𝑒𝑙)
Begin
𝑠𝑆𝑃𝐴𝑅𝑄𝐿 = "";
𝑠𝑆𝑃𝐴𝑅𝑄𝐿 += “SELECT DISTINCT ?ImgName +
WHERE {
{? IMG sbir: imgName? ImgName .
? IMG sbir: opClassLabel sbir: inClassLable .
sbir: inClassLabel rdf: type owl: NamedIndividual .
sbir: inClassLabel rdf: type sbir: ClassLabel . }
}”;
Return 𝑠𝑆𝑃𝐴𝑅𝑄𝐿;
End.
Hình 5. Ontology của tập dữ liệu sinh viên HUFI trên Protégé
- 322 MỘT PHƯƠNG PHÁP TRA CỨU THÔNG TIN ẢNH KHUÔN MẶT DỰA TRÊN ONTOLOGY
V. THỰC NGHIỆM VÀ ĐÁNH GIÁ
A. Mô hình thực nghiệm
Hình 6. Mô hình hệ thống tra cứu thông tin qua ảnh khuôn mặt
Mô hình tổng quát của hệ thống tra cứu thông tin qua ảnh khuôn mặt gồm 2 pha như mô tả trong Hình 6. Pha
huấn luyện nhằm huấn luyện bộ phân lớp SVM và tạo Ontology mô tả cho tập dữ liệu ảnh, pha truy vấn thực hiện tra
cứu thông tin và tập ảnh tương tự cho mỗi ảnh đầu vào.
Pha huấn luyện:
Bước 1: Phát hiện khuôn mặt và trích xuất đặc trưng các đối tượng trên khuôn mặt bằng phương pháp HOG cho
tập dữ liệu ảnh;
Bước 2: Huấn luyện thuật toán SVM để tạo ra bộ phân lớp SVM nhằm phân lớp tự động cho các ảnh đầu vào;
Bước 3: Xây dựng Ontology mô tả cho tập dữ liệu ảnh. Trong đó, hình ảnh và thông tin mô tả được phân lớp và
trích xuất tự động, đồng thời được thêm vào Ontology một cách tự động.
Pha truy vấn:
Bước 1: Từ ảnh truy vấn, dò tìm khuôn mặt và rút trích đặc trưng các đối tượng trên khuôn mặt của ảnh này;
Bước 2: Sử dụng bộ phân lớp SVM đã huấn luyện để phân lớp véctơ đặc trưng của ảnh đầu vào;
Bước 3: Kết xuất thông tin mô tả và tập ảnh tương tự của ảnh truy vấn.
B. Dữ liệu thực nghiệm
Để đánh giá hiệu quả của mô hình nhận dạng, chúng tôi sử dụng tập dữ liệu ảnh chuẩn Yale Face [38], đã được
cộng đồng nghiên cứu nhận dạng khuôn mặt trên thế giới sử dụng. Tập dữ liệu ảnh này bao gồm 165 ảnh đa mức xám
của 15 người với giới tính, độ tuổi khác nhau ở định dạng .jpg. Có 11 ảnh ứng với mỗi người, mỗi hình ảnh có biểu
hiện khuôn mặt hoặc điều kiện ánh sáng khác nhau như: hạnh phúc, buồn, ngạc nhiên, nháy mắt, ánh sáng trung tâm,
ánh sáng phía bên trái, có đeo kính,… Kích thước của ảnh là 243×320 pixels với 256 mức xám cho mỗi pixel.
Bên cạnh đó, để xây dựng hệ tra cứu thông tin sinh viên HUFI qua hình ảnh, chúng tôi xây dựng tập dữ liệu ảnh
sinh viên HUFI gồm 2100 ảnh màu của 110 sinh viên, mỗi sinh viên từ 10 đến 20 ảnh, mỗi ảnh được chụp dưới điều
kiện ánh sáng và biểu hiện khuôn mặt khác nhau như hình. Các ảnh được chuẩn hóa về kích thước 512×512 trước khi
thực hiện dò tìm khuôn mặt và trích xuất đặc trưng.
C. Kết quả thực nghiệm
Thực nghiệm được thực thi trên máy PC CPU Intel Core i5-7200U CPU @ 2.50GHz, 12.0GB RAM, hệ điều
hành Windows 10 Pro 64 bit, sử dụng ngôn ngữ lập trình C# và .NET Framework 4.8; biểu đồ đường cong Precison-
Recall và ROC được vẽ bằng Matlab. Kết quả thực nghiệm được đánh giá trên bộ dữ liệu Yale Face và sinh viên HUFI
như mô tả ở trên. Để đánh giá hiệu quả của phương pháp tìm nhận dạng, phần thực nghiệm được đánh giá các giá trị
gồm: độ chính xác (𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛), độ phủ (𝑟𝑒𝑐𝑎𝑙𝑙) và độ đo dung hòa 𝐹 − 𝑚𝑒𝑎𝑠𝑢𝑟𝑒. Công thức tính các giá trị này cho
bài toán phân lớp [34] như công thức (4) và bài toán tìm kiếm ảnh tương tự [2] như công thức (5).
∑𝐶
𝑐=1 𝑇𝑃 ∑𝐶
𝑐=1 𝑇𝑃 (𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛×𝑟𝑒𝑐𝑎𝑙𝑙)
𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = ∑𝐶 𝑟𝑒𝑐𝑎𝑙𝑙 = ∑𝐶 𝐹1 − 𝑠𝑐𝑜𝑟𝑒 = 2 × (4)
𝑐=1(𝑇𝑃+𝐹𝑃) 𝑐=1(𝑇𝑃+𝐹𝑁) (𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛+𝑟𝑒𝑐𝑎𝑙𝑙)
Trong đó, TP (True Positive): Số ảnh thuộc lớp positive được phân loại đúng là positive; TN (True Negative):
Số ảnh thuộc lớp negative được phân loại đúng là negative; FP (False Posivite): Số ảnh thuộc lớp negative bị phân loại
nhầm là positive; FN (False Negative): Số ảnh thuộc lớp positive bị phân loại nhầm là negative; C là số lớp của tập dữ
liệu ảnh. Các giá trị độ chính xác, độ phủ và độ do dung hòa được tính theo tỷ lệ %.
- Nguyễn Văn Thịnh, Đặng Văn Thành Nhân, Đinh Thị Mận, Nguyễn Thế Hữu, Văn Thế Thành 323
|𝑟𝑒𝑙𝑒𝑣𝑎𝑛𝑡 𝑖𝑚𝑎𝑔𝑒𝑠 ∩ 𝑟𝑒𝑡𝑟𝑖𝑒𝑣𝑒𝑑 𝑖𝑚𝑎𝑔𝑒𝑠|
𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 =
|𝑟𝑒𝑡𝑟𝑖𝑒𝑣𝑒𝑑 𝑖𝑚𝑎𝑔𝑒𝑠|
|𝑟𝑒𝑙𝑒𝑣𝑎𝑛𝑡 𝑖𝑚𝑎𝑔𝑒𝑠 ∩𝑟𝑒𝑡𝑟𝑖𝑒𝑣𝑒𝑑 𝑖𝑚𝑎𝑔𝑒𝑠|
𝑟𝑒𝑐𝑎𝑙𝑙 = (5)
|𝑟𝑒𝑙𝑒𝑣𝑎𝑛𝑡 𝑖𝑚𝑎𝑔𝑒𝑠|
(𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 × 𝑟𝑒𝑐𝑎𝑙𝑙)
𝐹 − 𝑚𝑒𝑎𝑠𝑢𝑟𝑒 = 2 ×
(𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 + 𝑟𝑒𝑐𝑎𝑙𝑙)
Trong đó, relavant images là tập ảnh tưởng tự với ảnh truy vấn có trong tập dữ liệu ảnh, retrieved images là tập
ảnh đã tìm kiếm được. Các giá trị độ chính xác, độ phủ và độ do dung hòa được tính theo tỷ lệ % và được quy đổi
thành giá trị trên đoạn [0, 1].
Hiệu suất của phương pháp được trình bày trong Bảng 1, kết quả trên tập ảnh sinh viên HUFI thấp hơn Yale
face do chất lượng ảnh do sinh viên tự chụp chưa chuẩn; giá trị MAP của phương pháp đề xuất được so sánh với các
phương pháp khác trên cùng bộ dữ liệu Yale face được mô tả trong Bảng 2. Đường cong Precision-Recall và ROC cho
tập ảnh sinh viên HUFI được mô tả trong hình từ Hình 9, mỗi đường cong mô tả một bộ dữ liệu của một phân lớp hình
ảnh được truy vấn; diện tích dưới các đường cong này cho thấy độ chính xác của việc truy vấn ảnh trên Ontology khá
cao. Hình 10, Hình 11 mô tả giá trị precision, recall, F1-score trung bình nhận dạng ảnh của 15 phân lớp trên tập ảnh
Yale face và 110 phân lớp trên tập ảnh sinh viên HUFI. Các giá trị precision, recall và F-measure trung bình tìm kiếm
ảnh trên Ontology được liệt kê trong Hình 12. Kết quả trong Bảng 2 cho thấy phương pháp đề xuất của chúng tôi tương
đối chính xác so với các công trình nhận dạng khuôn mặt được công bố trong những năm gần đây.
Bảng 1. Hiệu suất nhận dạng ảnh khuôn mặt của phương pháp được đề xuất trên các bộ dữ liệu thực nghiệm
Số ảnh Độ chính xác Độ phủ Độ dung hòa
Tổng Số ảnh
Tập ảnh huấn trung bình trung bình trung bình
số ảnh kiểm thử
luyện (precision) (recall) (F1-score)
Yale Face 165 132 33 96,67% 97,78% 97,22%
Sinh viên HUFI 2100 1680 420 84,55% 89,39% 86,90%
Bảng 2. So sánh độ chính xác nhận dạng giữa các phương pháp trên bộ dữ liệu Yale Face
Phương pháp Độ chính xác nhận dạng trung bình (MAP)
Z Sufyanu và cộng sự, 2016 [33] 93,40%
Al-Dabagh và cộng sự, 2018 [3] 95,25%
Mourad MOUSSA và cộng sự, 2018 [20] 95,50%
Saeed Najafi Khanbebin và Vahid Mehrdad, 2020 [21] 94,09%
Đề xuất của nhóm tác giả 96,67%
Qua Bảng 3 cho thấy hiệu suất tìm kiếm ảnh trên Ontology đã đề xuất là khá cao và có thể ứng dụng cho các hệ
thống tra cứu thông tin trong thực tế. Chúng tôi không so sánh hiệu suất với các công trình tìm kiếm ảnh trên Ontology
khác do không cùng tập dữ liệu thực nghiệm.
Bảng 3. Hiệu suất tìm kiếm ảnh tương tự trên Ontology
Độ chính xác Độ phủ Độ dung hòa
Tập ảnh
trung bình trung bình trung bình
Sinh viên HUFI 0,962504 0,956456 0,957437
Hình 7. Ứng dụng thực nghiệm của phương pháp đề xuất
- 324 MỘT PHƯƠNG PHÁP TRA CỨU THÔNG TIN ẢNH KHUÔN MẶT DỰA TRÊN ONTOLOGY
Hình 8. Kết quả tìm kiếm tập ảnh tương tự của ứng dụng
Hình 9. Precision-Recall và đường cong ROC nhận dạng của hệ thống trên tập dữ liệu sinh viên HUFI
Hình 10. Trung bình độ chính xác, độ phủ và độ dung hòa nhận dạng của hệ thống trên tập dữ liệu sinh viên HUFI
Hình 11. Trung bình độ chính xác, độ phủ và độ dung hòa nhận dạng của hệ thống trên tập dữ liệu Yale face
- Nguyễn Văn Thịnh, Đặng Văn Thành Nhân, Đinh Thị Mận, Nguyễn Thế Hữu, Văn Thế Thành 325
Hình 12. Trung bình độ chính xác, độ phủ và độ dung hòa tìm kiếm ảnh trên Ontology của hệ thống trên tập dữ liệu sinh viên HUFI
VI. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
Trong bài báo này, một phương pháp tra cứu thông tin qua ảnh khuôn mặt dựa trên Ontology đã được xây dựng.
Một Ontology bán tự động được xây dựng để mô tả tập dữ liệu ảnh, tiếp đó quá trình nhận dạng ảnh khuôn mặt được
thực hiện dựa trên đặc trưng HOG và thuật toán SVM nhằm phân lớp ảnh đầu vào. Từ đó, câu truy vấn SPARQL được
tạo ra tự động và truy vấn trên Ontology đã xây dựng nhằm trích xuất ra thông tin hình ảnh và tập ảnh tương tự. Dựa
trên phương pháp và mô hình đề xuất, thực nghiệm được xây dựng và đánh giá kết quả dựa trên các giá trị recall,
precision, F-score. Kết quả thực nghiệm được so sánh với các phương pháp khác trên cùng một tập dữ liệu ảnh đã cho
thấy phương pháp đề xuất tương đối hiệu quả. Thực nghiệm cũng cho thấy tính đúng đắn của mô hình và các thuật toán
đã đề xuất, do đó phương pháp này có thể làm cơ sở để phát triển các hệ thống tra cứu thông tin qua ảnh khuôn mặt và
ứng dụng trong thực tế. Hướng phát triển tiếp theo của của mô hình là phát triển Ontology mô tả các nghiệp vụ thực tế
liên quan đến sinh viên như xem thời khóa biểu, kết quả học tập,… đồng thời xây dựng ứng dụng thực nghiệm trên
thiết bị di động để thuận tiện cho người sử dụng.
VII. LỜI CẢM ƠN
Nghiên cứu này do Trường Đại học Công nghiệp thực phẩm Thành phố Hồ Chí Minh bảo trợ và cấp kinh phí theo
Hợp đồng số 147/HĐ-DCT (This work has been sponsored and funded by Ho Chi Minh City University of Food
Industry under Contract No. 147/ HD-DCT).
TÀI LIỆU THAM KHẢO
[1] Hafiz Ahamed, Ishraq Alamat al. Md Manirul Islam. "HOG-CNN based real time face recognition". International Conference
on Advancement in Electrical and Electronic Engineering (ICAEEE), 2018, IEEE.
[2] Abbes Amira Ahmad Alzu’bi, Naeem Ramzan, "Semantic content-based image retrieval: A comprehensive study", Journal of
Visual Communication and Image Representation, vol. 32, pp. 20-54, 2015.
[3] Mustafa Zuhaer Nayef Al-Dabagh, MH Mohammed Alhabibat al.FH Al-Mukhtar, "Face recognition system based on kernel
discriminant analysis, k-nearest neighbor and support vector machine", International Journal of Research and Engineering,
vol. 5, No. 3, pp. 335-338, 2018.
[4] M Annalakshmi, S Mohamed Mansoor Roomiat al. A Sheik Naveedh, "A hybrid technique for gender classification with SLBP
and HOG features", Cluster Computing, vol. 22, No. 1, pp. 11-20, 2019.
[5] Gidudu Anthony, Hulley Greggat al.Marwala Tshilidzi, "Image classification using SVMs: one-against-one vs one-against-all",
arXiv preprint arXiv:0711.2914, 2007.
[6] Jair Cervantes, et al., "A comprehensive survey on support vector machine classification: Applications, challenges and trends",
Neurocomputing, vol. 408, pp. 189-215, 2020.
[7] Corinna CortesVladimir Vapnik, "Support-vector networks", Machine Learning, vol. 20, No. 3, pp. 273-297, 1995.
[8] Musab Coşkun, et al. "Face recognition based on convolutional neural network". International Conference on Modern
Electrical and Energy Systems (MEES), 2017, IEEE.
[9] Walaa A Elnozahy, et al., "Question answering system to support university students’ orientation, recruitment and retention",
Procedia Computer Science, vol. 164, pp. 56-63, 2019.
[10] Jalila Filali, Hajer Zghalat al. Jean Martinet. "Towards visual vocabulary and ontology-based image retrieval system".
International Conference on Agents and Artificial Intelligence, 2016.
[11] Mohammed Essmat Ibrahim, Yanyan Yangat al. David Ndzi. "Using ontology for personalised course recommendation
applications". International Conference on Computational Science and Its Applications, 2017, Springer.
[12] Ridwan Andi KambauZainal Arifin Hasibuan. "Concept-based multimedia information retrieval system using ontology search
in cultural heritage". Second International Conference on Informatics and Computing (ICIC), 2017, IEEE.
[13] Sri Karnila, Suhendro Iriantoat al. Rio Kurniawan, "Face recognition using content based image retrieval for intelligent
security", International Journal of Advanced Engineering Research and Science, vol. 6, No. 1, pp. 91-98, 2019.
[14] Yassin Kortli, et al., "Face recognition systems: A survey", Sensors, vol. 20, No. 2, pp. 342, 2020.
- 326 MỘT PHƯƠNG PHÁP TRA CỨU THÔNG TIN ẢNH KHUÔN MẶT DỰA TRÊN ONTOLOGY
[15] Ashu Kumar, Amandeep Kaurat al. Munish Kumar, "Face detection techniques: a review", Artificial Intelligence Review, vol.
52, No. 2, pp. 927-948, 2019.
[16] Mihai Lupu, et al., Current challenges in patent information retrieval. Vol. 37, 2017, Springer.
[17] Huda MadyShadi MS Hilles. "Face recognition and detection using Random forest and combination of LBP and HOG
features". International Conference on Smart Computing and Electronic Enterprise (ICSCEE), 2018, IEEE.
[18] Umar Manzoor, et al., "Semantic image retrieval: An ontology based approach", International Journal of Advanced Research in
Artificial Intelligence, vol. 4, No. 4, pp. 1-8, 2015.
[19] Yanti Idaya Aspura MKShahrul Azman Mohd Noah, "Semantic text-based image retrieval with multi-modality ontology and
DBpedia", The Electronic Library, 2017.
[20] Mourad Moussa, Maha Hmilaat al. Ali Douik, "A novel face recognition approach based on genetic algorithm optimization",
Studies in Informatics and Control, vol. 27, No. 1, pp. 127-134, 2018.
[21] Saeed Najafi KhanbebinVahid Mehrdad, "Local improvement approach and linear discriminant analysis-based local binary
pattern for face recognition", Neural Computing and Applications, vol. 33, No. 13, pp. 7691-7707, 2021.
[22] Thanh Hải Nguyễn, et al., "Giải pháp điểm danh sinh viên bằng nhận diện gương mặt với đặc trưng Haar-Like kết hợp thuật
toán rừng ngẫu nhiên", 2020.
[23] Charbel Obeid, et al. "Ontology-based recommender system in higher education". Companion Proceedings of the The Web
Conference 2018.
[24] opencv. "Cascade Classifier". https://docs.opencv.org/3.4/db/d28/tutorial_cascade_classifier.html.
[25] Opencv. "Foreground Extraction using grabcut algorithm". https://docs.opencv.org/4.5.2/dd/dfc/tutorial_ js_grabcut.html.
[26] opencv. "Trained classifiers for detecting objects". https://github.com/opencv/opencv/tree/master/data.
[27] Nicolas Ortiz, et al., "Survey of biometric pattern recognition via machine learning techniques", Contemporary Engineering
Sciences, vol. 11, No. 34, pp. 1677-1694, 2018.
[28] Tran Thi Thao Pham Van Truong, "Nhận dạng khuôn mặt trực tiếp và ứng dụng trong mở cửa tự động", Measurement,
Control, and Automation, vol. 1, No. 1, 2020.
[29] Xiaojing Qin, Hui Zhangat al., Huaiguo Zheng. "Research on Intelligent Retrieval System for agricultural information
resources based on ontology". Journal of Physics: Conference Series, 2019, IOP Publishing.
[30] PK ReshmaVL Lajish, "Ontology Based semantic information retrieval model for university domain", Int. J. Appl. Eng. Res,
vol. 13, pp. 12142-12145, 2018.
[31] Francis A RuamboMrindoko R Nicholaus. "Towards enhancing information retrieval systems: A brief survey of strategies and
challenges". 11th International Congress on Ultra Modern Telecommunications and Control Systems and Workshops (ICUMT),
2019. IEEE.
[32] Ramesh Sharda, Dursun Delenat al., Efraim Turban, Analytics, Data Science, & Artificial Intelligence, 2020: Pearson
Education, Limited.
[33] Zahraddeen Sufyanu, et al., "Enhanced Face Recognition Using Discrete Cosine Transform", Engineering Letters, vol. 24, No.
1, 2016.
[34] Robert Susmaga, Confusion matrix visualization, Intelligent Information Processing and Web Mining, 2004, Springer. p. 107-
116.
[35] Bộ Giáo dục và Đào tạo. "Số liệu thống kê giáo dục năm 2019-2020". https://moet.gov.vn/thong-ke/Pages/thong-ke.aspx.
[36] Mohammad aman ullahsyed akhter hossain, Ontology-based information retrieval system for university: methods and
reasoning, Emerging Technologies in Data Mining and Information Security, 2019, Springer. p. 119-128.
[37] Pham Van Truong, Tran Thi Thao, "Nhận dạng khuôn mặt trực tiếp và ứng dụng trong mở cửa tự động", Measurement,
Control, and Automation, vol. 1, No. 1, 2020.
[38] UCSD Computer Vision. "Yale face database". http://vision.ucsd.edu/content/yale-face-database.
[39] Zimeng Xing, et al., "Application of Ontology in the Web information retrieval", Journal on Big Data, vol. 1, No. 2, pp. 79,
2019.
[40] Yuqian Zhou, Ding Liuat al., Thomas Huang. "Survey of face detection on low-quality images". 13th IEEE International
Conference on Automatic Face & Gesture Recognition (FG 2018), 2018, IEEE.
A FACE IMAGE RETRIEVAL METHOD BASED ON ONTOLOGY
Nguyen Van Thinh, Dang Van Thanh Nhan, Dinh Thi Man, Nguyen The Huu, Van The Thanh
ABSTRACT: In this paper, a method of facial image retrieval is proposed by approaching the classification of the input
image, from there the information and a similar image are queried on Ontology. Firstly, the HOG (Histogram of Oriented Gradient)
features are extracted from the image dataset for training the SVM (Support Vector Machine) classifier to identify an image.
Secondly, an Ontology describing the image dataset is built semi-automatically to retrieve information and similar images. Finally,
the SPARQL query is created automatically from label of input image to execute queries on the established Ontology. To
demonstrate the efficiency of the proposed method, an experiment is conducted and evaluated based on the Yale Face and images of
students from Ho Chi Minh City University of Food Industry (HUFI) datasets. The experiment results showed the possibility and
efficiency of the method while making it easier to expand the retrieval information related to academics.
nguon tai.lieu . vn
