Xem mẫu
BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
PHẠM THỊ THANH THỦY
NGHIÊN CỨU VÀ PHÁT TRIỂN CÁC KỸ THUẬT
ĐỊNH VỊ VÀ ĐỊNH DANH KẾT HỢP THÔNG TIN
HÌNH ẢNH VÀ WIFI
Chuyên ngành: Khoa học Máy tính
Mã số: 62480101
TÓM TẮT LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH
Hà Nội−2017
Công trình được hoàn thành tại:
Trường Đại học Bách khoa Hà Nội
Người hướng dẫn khoa học:
1. PGS. TS. Lê Thị Lan
2. TS. Đào Trung Kiên
Phản biện 1: PGS. TS. Ngô Quốc Tạo
Phản biện 2: PGS. TS. Trần Đình Quế
Phản biện 3: PGS. TS. Đỗ Năng Toàn
Luận án sẽ được bảo vệ trước Hội đồng chấm luận án tiến sĩ
cấp Trường họp tại Trường Đại học Bách khoa Hà Nội:
Vào hồi..........giờ, ngày.......tháng.......năm.......
Có thể tìm hiểu luận án tại thư viện:
1. Thư viện Tạ Quang Bửu - Trường ĐHBK Hà Nội
2. Thư viện Quốc gia Việt Nam
MỞ ĐẦU
Tính cấp thiết của luận án
Công nghệ hiện đại đang làm thay đổi cuộc sống của con người ở nhiều phương
diện khác nhau, trong đó đáng chú ý là cách thức con người tương tác với các sản phẩm
công nghệ. Tương tác người-máy ngày càng trở nên tự nhiên và thân thiện hơn. Một
khái niệm mới được hình thành từ sự thay đổi mang tính cách mạng này đó là Môi
trường cảm thụ AmI (Ambient Intelligent). Mặc dù AmI đã được đề cập từ hơn mười
năm trước và ngày càng có thêm nhiều nghiên cứu chuyên sâu về nó, tuy nhiên, việc
phát triển và thực thi các hệ thống ứng dụng AmI vẫn còn mới mẻ. Có nhiều thách
thức thực tế cần giải quyết trong từng lĩnh vực công nghệ hay các ứng dụng cụ thể có
liên quan tới AmI [1].
Trong nghiên cứu này, chúng tôi quan tâm tới thông tin ngữ cảnh về vị trí và danh
tính của con người trong môi trường tòa nhà. Vị trí và danh tính là hai trong số các
thuộc tính người dùng quan trọng cần được cảm thụ trong môi trường thông minh.
Để có thể xác định vị trí người dùng (người dùng ở đâu trong môi trường) và danh
tính người dùng (người dùng đó là ai), chúng ta cần giải quyết hai bài toán là định
vị và định danh. Để giải quyết hai bài toán này, có thể sử dụng nhiều loại cảm biến
khác nhau, như Ultra-Wideband (UWB), ultrasound, Radio-Frequency Identification
(RFID), camera, WiFi, etc [15]. Tuy nhiên, không có một giải pháp công nghệ đơn lẻ
nào là hoàn hảo trong mọi trường hợp. Do đó, bên cạnh việc phát triển các giải thuật
tối ưu cho từng công nghệ, sử dụng kết hợp các giải pháp đang trở thành một xu hướng
mới trong việc giải quyết bài toán định vị và định danh người dùng trong môi trường
tòa nhà [19], [3], [14], [16]. Mục đích chính của kết hợp là nhằm phát huy được những
ưu điểm của từng công nghệ cảm biến đơn lẻ, trong khi có thể hạn chế những nhược
điểm của chúng. Trong bối cảnh này, nghiên cứu của chúng tôi tập trung giải quyết bài
toán định vị và định danh người sử dụng kết hợp các công nghệ dựa trên cơ sở hình
ảnh và WiFi.
Các đóng góp của luận án
Đóng góp thứ 1: Đề xuất mô hình hình suy hao cải tiến cho định vị người dùng
dựa trên WiFi. Trong mô hình này, chúng tôi xem xét tới các ràng buộc vật cản
trong môi trường tòa nhà. Từ đó, có thể mô hình hóa hiệu quả quan hệ giữa
cường độ tín hiệu RSSI với khoảng cách từ thiết bị di động tới các AP lân cận.
Phương pháp lấy dấu vân tay thông dụng cũng được áp dụng cho định vị WiFi,
với một bản đồ vô tuyến mới được thiết lập nhằm tạo dữ liệu vân tay ổn định và
1
tin cậy cho định vị. Để đối sánh mẫu thử với dữ liệu vân tay, chúng tôi đề xuất
áp dụng phương pháp KNN, trong đó có bổ sung thêm tham số λ nhằm phản
ánh những thay đổi theo thời gian của dữ liệu dấu vân tay trong môi trường.
Kết quả định vị dựa trên WiFi cho phép kích hoạt các tiến trình định vị tại các
camera thuộc vùng kết quả định vị trả về từ hệ thống WiFi.
Đóng góp thứ 2: Đề xuất các phương pháp hiệu quả cho khử bóng và phát
hiện người nhằm cải thiện kết quả định vị sử dụng hình ảnh. Đối với khử bóng,
chúng tôi đề xuất sử dụng kết hợp đặc trưng chromaticity và physical cùng với
một sơ đồ kết hợp chỉ số dựa trên mật độ lân cận của phân bố bóng và không
phải bóng ở từng điểm ảnh. Bước khử bóng được xem như bước tiền xử lý nhằm
đạt hiệu quả phát hiện người tốt hơn. Trong bước phát hiện người, chúng tôi sử
dụng kết hợp hai phương pháp trừ nền GMM thích nghi và bộ mô tả-phân lớp
người HOG-SVM. Việc kết hợp này cho phép phát huy được ưu điểm tính toán
nhanh của GMM thích nghi và độ chính xác phát hiện người của HOG-SVM.
Ngoài ra, đối với bộ phát hiện HOG-SVM, chúng tôi xây dựng bộ mô tả HOG
và huấn luyện SVM sử dụng cơ sở dữ liệu chúng tôi thu tại môi trường thực
nghiệm, cùng với cơ sở dữ liệu chuẩn INRIA. Việc huấn luyện trên hai bộ cơ sở
dữ liệu này giúp cải thiện hiệu quả phát hiện người sử dụng HOG-SVM trong
môi trường xem xét.
Đóng góp thứ 3: Áp dụng một bộ mô tả người mạnh dựa trên cơ sở diện mạo
cho định danh lại người trong các mạng camera. Bộ mô tả được xây dựng trên
từng vùng người được phát hiện. Ba đặc trưng hướng, màu và hình dạng được
trích chọn ở 3 mức điểm ảnh, mẩu ảnh và toàn bộ ảnh vùng người được phát
hiện, sau đó ba hàm nhân đối sánh được tạo ra từ các đặc trưng này. Bộ mô tả
đề xuất đặc biệt hiệu quả đối với ngữ cảnh giám sát người sử dụng nhiều camera,
trong đó tồn tại sự thay đổi đa dạng trong cùng một lớp đối tượng.
Đóng góp thứ 4: Đề xuất một phương pháp kết hợp mới cho hệ thống định vị
và định danh người đa phương thức kết hợp WiFi và camera. Bằng cách sử dụng
các bước dự đoán và cập nhật trạng thái của bộ lọc Kalman, cùng với giải thuật
gán tối ưu, phương pháp kết hợp đề xuất cho phép bảo lưu độ chính xác định vị
cao của hệ thống định vị người dựa trên hình ảnh. Ngoài ra phương pháp kết hợp
này cho phép theo vết người bằng định danh dựa trên thông tin định danh từ
card WiFi của thiết bị cầm tay, cũng cho phép thực thi tốt hơn việc định danh
lại người giữa các camera.
Ngoài các đóng góp chính nêu trên, trong luận văn này, chúng tôi đề xuất phương
pháp liên kết quỹ đạo người hiệu quả trong mạng camera. Các camera được triển khai
trên một tầng của tòa nhà đều có chung trường quan sát là mặt sàn nơi đối tượng di
2
chuyển, do đó, từng cặp camera sẽ tạo thành một thị giác nổi trên một mặt sàn duy
nhất. Sử dụng phương pháp hiệu chỉnh camera cho thị giác nổi, các quỹ đạo chuyển
động của đối tượng trên ảnh thu nhận từ các camera khác nhau có thể chuyển đổi
được thành các vị trí trên hệ tọa độ thế giới thực tương ứng trên một mặt phẳng sàn
duy nhất đó. Ngoài ra, chúng tôi cũng đề xuất một hệ thống giám sát người tự động
hoàn toàn trong môi trường tòa nhà. Hệ thống này phản ánh các bối cảnh giám sát
thực tế ở hầu hết các tòa nhà. Hướng tới việc xây dựng một hệ thống giám sát như
vậy, chúng tôi thực hiện một số thử nghiệm để chứng minh hiệu quả của các phương
pháp đã công bố cho bài toán nhận dạng mặt người, định vị, định danh và định danh
lại người trong một mạng camera.
Cấu trúc của luận án
Trong luận án này, chúng tôi phát triển các phương pháp định vị và định danh
lại người và đánh giá chúng trong hệ thống kết hợp hình ảnh và WiFi. Luận án gồm 5
chương, với phần giới thiệu mở đầu, phần cuối là kết luận và định hướng nghiên cứu
tiếp theo:
Mở đầu: Giới thiệu chung: tính cấp thiết và mục tiêu nghiên cứu của luận án;
ngữ cảnh, các ràng buộc và thách thức khi giải quyết các bài toán đặt ra trong
luận án; cấu trúc của luận án và các đóng góp của luận án.
Chương 1: Các công trình có liên quan đến vấn đề nghiên cứu của luận án: định
vị người dùng sử dụng hệ thống WiFi; định vị người sử dụng camera, định vị
người sử dụng kết hợp hệ thống WiFi và camera; định danh lại người trong mạng
camera.
Chương 2: Giải pháp đề xuất và các đánh giá thử nghiệm cho định vị người dùng
dựa trên WiFi.
Chương 3: Đề xuất hệ thống định vị người sử dụng hình ảnh với 3 pha chính là
phát hiện người, theo vết người và định vị người. Đề xuất một số cải tiến cho
từng pha nhằm nâng cao hiệu quả của hệ thống định vị.
Chương 4: Trong bối cảnh giám sát đa camera thời gian thực, các bài toán định
danh người dựa trên mặt người và định danh lại dựa trên diện mạo người được
đề xuất. Một bộ mô tả hiệu quả được áp dụng cho định danh lại người trong
mạng camera.
Chương 5: Giải pháp kết hợp thông tin WiFi và hình ảnh cho định vị, định danh
và định danh lại người và các đánh giá thử nghiệm.
Kết luận và định hướng nghiên cứu tiếp theo của luận án.
3
nguon tai.lieu . vn
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
PHẠM THỊ THANH THỦY
NGHIÊN CỨU VÀ PHÁT TRIỂN CÁC KỸ THUẬT
ĐỊNH VỊ VÀ ĐỊNH DANH KẾT HỢP THÔNG TIN
HÌNH ẢNH VÀ WIFI
Chuyên ngành: Khoa học Máy tính
Mã số: 62480101
TÓM TẮT LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH
Hà Nội−2017
Công trình được hoàn thành tại:
Trường Đại học Bách khoa Hà Nội
Người hướng dẫn khoa học:
1. PGS. TS. Lê Thị Lan
2. TS. Đào Trung Kiên
Phản biện 1: PGS. TS. Ngô Quốc Tạo
Phản biện 2: PGS. TS. Trần Đình Quế
Phản biện 3: PGS. TS. Đỗ Năng Toàn
Luận án sẽ được bảo vệ trước Hội đồng chấm luận án tiến sĩ
cấp Trường họp tại Trường Đại học Bách khoa Hà Nội:
Vào hồi..........giờ, ngày.......tháng.......năm.......
Có thể tìm hiểu luận án tại thư viện:
1. Thư viện Tạ Quang Bửu - Trường ĐHBK Hà Nội
2. Thư viện Quốc gia Việt Nam
MỞ ĐẦU
Tính cấp thiết của luận án
Công nghệ hiện đại đang làm thay đổi cuộc sống của con người ở nhiều phương
diện khác nhau, trong đó đáng chú ý là cách thức con người tương tác với các sản phẩm
công nghệ. Tương tác người-máy ngày càng trở nên tự nhiên và thân thiện hơn. Một
khái niệm mới được hình thành từ sự thay đổi mang tính cách mạng này đó là Môi
trường cảm thụ AmI (Ambient Intelligent). Mặc dù AmI đã được đề cập từ hơn mười
năm trước và ngày càng có thêm nhiều nghiên cứu chuyên sâu về nó, tuy nhiên, việc
phát triển và thực thi các hệ thống ứng dụng AmI vẫn còn mới mẻ. Có nhiều thách
thức thực tế cần giải quyết trong từng lĩnh vực công nghệ hay các ứng dụng cụ thể có
liên quan tới AmI [1].
Trong nghiên cứu này, chúng tôi quan tâm tới thông tin ngữ cảnh về vị trí và danh
tính của con người trong môi trường tòa nhà. Vị trí và danh tính là hai trong số các
thuộc tính người dùng quan trọng cần được cảm thụ trong môi trường thông minh.
Để có thể xác định vị trí người dùng (người dùng ở đâu trong môi trường) và danh
tính người dùng (người dùng đó là ai), chúng ta cần giải quyết hai bài toán là định
vị và định danh. Để giải quyết hai bài toán này, có thể sử dụng nhiều loại cảm biến
khác nhau, như Ultra-Wideband (UWB), ultrasound, Radio-Frequency Identification
(RFID), camera, WiFi, etc [15]. Tuy nhiên, không có một giải pháp công nghệ đơn lẻ
nào là hoàn hảo trong mọi trường hợp. Do đó, bên cạnh việc phát triển các giải thuật
tối ưu cho từng công nghệ, sử dụng kết hợp các giải pháp đang trở thành một xu hướng
mới trong việc giải quyết bài toán định vị và định danh người dùng trong môi trường
tòa nhà [19], [3], [14], [16]. Mục đích chính của kết hợp là nhằm phát huy được những
ưu điểm của từng công nghệ cảm biến đơn lẻ, trong khi có thể hạn chế những nhược
điểm của chúng. Trong bối cảnh này, nghiên cứu của chúng tôi tập trung giải quyết bài
toán định vị và định danh người sử dụng kết hợp các công nghệ dựa trên cơ sở hình
ảnh và WiFi.
Các đóng góp của luận án
Đóng góp thứ 1: Đề xuất mô hình hình suy hao cải tiến cho định vị người dùng
dựa trên WiFi. Trong mô hình này, chúng tôi xem xét tới các ràng buộc vật cản
trong môi trường tòa nhà. Từ đó, có thể mô hình hóa hiệu quả quan hệ giữa
cường độ tín hiệu RSSI với khoảng cách từ thiết bị di động tới các AP lân cận.
Phương pháp lấy dấu vân tay thông dụng cũng được áp dụng cho định vị WiFi,
với một bản đồ vô tuyến mới được thiết lập nhằm tạo dữ liệu vân tay ổn định và
1
tin cậy cho định vị. Để đối sánh mẫu thử với dữ liệu vân tay, chúng tôi đề xuất
áp dụng phương pháp KNN, trong đó có bổ sung thêm tham số λ nhằm phản
ánh những thay đổi theo thời gian của dữ liệu dấu vân tay trong môi trường.
Kết quả định vị dựa trên WiFi cho phép kích hoạt các tiến trình định vị tại các
camera thuộc vùng kết quả định vị trả về từ hệ thống WiFi.
Đóng góp thứ 2: Đề xuất các phương pháp hiệu quả cho khử bóng và phát
hiện người nhằm cải thiện kết quả định vị sử dụng hình ảnh. Đối với khử bóng,
chúng tôi đề xuất sử dụng kết hợp đặc trưng chromaticity và physical cùng với
một sơ đồ kết hợp chỉ số dựa trên mật độ lân cận của phân bố bóng và không
phải bóng ở từng điểm ảnh. Bước khử bóng được xem như bước tiền xử lý nhằm
đạt hiệu quả phát hiện người tốt hơn. Trong bước phát hiện người, chúng tôi sử
dụng kết hợp hai phương pháp trừ nền GMM thích nghi và bộ mô tả-phân lớp
người HOG-SVM. Việc kết hợp này cho phép phát huy được ưu điểm tính toán
nhanh của GMM thích nghi và độ chính xác phát hiện người của HOG-SVM.
Ngoài ra, đối với bộ phát hiện HOG-SVM, chúng tôi xây dựng bộ mô tả HOG
và huấn luyện SVM sử dụng cơ sở dữ liệu chúng tôi thu tại môi trường thực
nghiệm, cùng với cơ sở dữ liệu chuẩn INRIA. Việc huấn luyện trên hai bộ cơ sở
dữ liệu này giúp cải thiện hiệu quả phát hiện người sử dụng HOG-SVM trong
môi trường xem xét.
Đóng góp thứ 3: Áp dụng một bộ mô tả người mạnh dựa trên cơ sở diện mạo
cho định danh lại người trong các mạng camera. Bộ mô tả được xây dựng trên
từng vùng người được phát hiện. Ba đặc trưng hướng, màu và hình dạng được
trích chọn ở 3 mức điểm ảnh, mẩu ảnh và toàn bộ ảnh vùng người được phát
hiện, sau đó ba hàm nhân đối sánh được tạo ra từ các đặc trưng này. Bộ mô tả
đề xuất đặc biệt hiệu quả đối với ngữ cảnh giám sát người sử dụng nhiều camera,
trong đó tồn tại sự thay đổi đa dạng trong cùng một lớp đối tượng.
Đóng góp thứ 4: Đề xuất một phương pháp kết hợp mới cho hệ thống định vị
và định danh người đa phương thức kết hợp WiFi và camera. Bằng cách sử dụng
các bước dự đoán và cập nhật trạng thái của bộ lọc Kalman, cùng với giải thuật
gán tối ưu, phương pháp kết hợp đề xuất cho phép bảo lưu độ chính xác định vị
cao của hệ thống định vị người dựa trên hình ảnh. Ngoài ra phương pháp kết hợp
này cho phép theo vết người bằng định danh dựa trên thông tin định danh từ
card WiFi của thiết bị cầm tay, cũng cho phép thực thi tốt hơn việc định danh
lại người giữa các camera.
Ngoài các đóng góp chính nêu trên, trong luận văn này, chúng tôi đề xuất phương
pháp liên kết quỹ đạo người hiệu quả trong mạng camera. Các camera được triển khai
trên một tầng của tòa nhà đều có chung trường quan sát là mặt sàn nơi đối tượng di
2
chuyển, do đó, từng cặp camera sẽ tạo thành một thị giác nổi trên một mặt sàn duy
nhất. Sử dụng phương pháp hiệu chỉnh camera cho thị giác nổi, các quỹ đạo chuyển
động của đối tượng trên ảnh thu nhận từ các camera khác nhau có thể chuyển đổi
được thành các vị trí trên hệ tọa độ thế giới thực tương ứng trên một mặt phẳng sàn
duy nhất đó. Ngoài ra, chúng tôi cũng đề xuất một hệ thống giám sát người tự động
hoàn toàn trong môi trường tòa nhà. Hệ thống này phản ánh các bối cảnh giám sát
thực tế ở hầu hết các tòa nhà. Hướng tới việc xây dựng một hệ thống giám sát như
vậy, chúng tôi thực hiện một số thử nghiệm để chứng minh hiệu quả của các phương
pháp đã công bố cho bài toán nhận dạng mặt người, định vị, định danh và định danh
lại người trong một mạng camera.
Cấu trúc của luận án
Trong luận án này, chúng tôi phát triển các phương pháp định vị và định danh
lại người và đánh giá chúng trong hệ thống kết hợp hình ảnh và WiFi. Luận án gồm 5
chương, với phần giới thiệu mở đầu, phần cuối là kết luận và định hướng nghiên cứu
tiếp theo:
Mở đầu: Giới thiệu chung: tính cấp thiết và mục tiêu nghiên cứu của luận án;
ngữ cảnh, các ràng buộc và thách thức khi giải quyết các bài toán đặt ra trong
luận án; cấu trúc của luận án và các đóng góp của luận án.
Chương 1: Các công trình có liên quan đến vấn đề nghiên cứu của luận án: định
vị người dùng sử dụng hệ thống WiFi; định vị người sử dụng camera, định vị
người sử dụng kết hợp hệ thống WiFi và camera; định danh lại người trong mạng
camera.
Chương 2: Giải pháp đề xuất và các đánh giá thử nghiệm cho định vị người dùng
dựa trên WiFi.
Chương 3: Đề xuất hệ thống định vị người sử dụng hình ảnh với 3 pha chính là
phát hiện người, theo vết người và định vị người. Đề xuất một số cải tiến cho
từng pha nhằm nâng cao hiệu quả của hệ thống định vị.
Chương 4: Trong bối cảnh giám sát đa camera thời gian thực, các bài toán định
danh người dựa trên mặt người và định danh lại dựa trên diện mạo người được
đề xuất. Một bộ mô tả hiệu quả được áp dụng cho định danh lại người trong
mạng camera.
Chương 5: Giải pháp kết hợp thông tin WiFi và hình ảnh cho định vị, định danh
và định danh lại người và các đánh giá thử nghiệm.
Kết luận và định hướng nghiên cứu tiếp theo của luận án.
3