Xem mẫu
BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
ĐOÀN THỊ HƯƠNG GIANG
NHẬN DẠNG CỬ CHỈ ĐỘNG CỦA BÀN TAY
NGƯỜI SỬ DỤNG KẾT HỢP THÔNG TIN HÌNH
ẢNH VÀ ĐỘ SÂU ỨNG DỤNG TRONG TƯƠNG
TÁC NGƯỜI-THIẾT BỊ
Chuyên ngành: Kỹ thuật Điều khiển và Tự động hóa
Mã số: 62520216
TÓM TẮT LUẬN ÁN TIẾN SĨ
ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA
Hà Nội 12−2017
Công trình được hoàn thành tại:
Trường Đại học Bách khoa Hà Nội
Người hướng dẫn khoa học:
1. TS. Vũ Hải
2. TS. Trần Thị Thanh Hải
Phản biện 1: PGS.TS Ngô Quốc Tạo
Phản biện 2: PGS.TS Nguyễn Quang Hoan
Phản biện 3: PGS.TS Trần Đức Tân
Luận án sẽ được bảo vệ trước Hội đồng chấm luận án tiến sĩ
cấp Trường họp tại Trường Đại học Bách khoa Hà Nội:
Vào hồi..........giờ, ngày.......tháng.......năm.......
Có thể tìm hiểu luận án tại thư viện:
1. Thư viện Tạ Quang Bửu - Trường ĐHBK Hà Nội
2. Thư viện Quốc gia Việt Nam
MỞ ĐẦU
Tính cấp thiết của luận án
Ngày nay, công nghệ hiện đại ngày càng phát triển đã trợ giúp cho con người trong
nhiều lĩnh vực khác nhau. Trong đó, tự động hóa tòa nhà hay không gian sống thông
minh là một trong những xu hướng nghiên cứu xuất phát từ nhu cầu thực tế của cuộc
sống. Các hệ thống tự động hóa có mặt ở nhiều lĩnh vực khác nhau trong cuộc sống
hàng ngày, từ những ứng dụng trợ giúp đơn giản như chuông cửa, điều khiển cửa ra
vào nhà, đến việc tự động hóa các thiết bị điện tử gia dụng phức tạp hơn như hệ thống
đèn chiếu sáng, điều hòa, hệ thống loa đài, ti vi,... Mặc dù các ứng dụng tự động hóa
tòa nhà đã được đề xuất nhiều. Các sản phẩm hiện có mới chỉ chủ yếu tập trung vào
các công nghệ tiết kiệm năng lượng, hoặc điều khiển các thiết bị điện tử trong gia đình
sử dụng các thiết bị phụ trợ hoặc yêu cầu một giao diện để tương tác giữa người dùng
và thiết bị. Nhu cầu tự động hóa tòa nhà với sự tương tác giữa người và thiết bị điện
tử gia dụng một cách tự nhiên là cần thiết song bài toán này còn gặp phải nhiều thách
thức như: Không đòi hỏi thiết bị phụ trợ hay tiếp xúc trực tiếp trong quá trình điều
khiển; hoặc không đòi hỏi giao diện tương tác người-thiết bị. Mục tiêu hướng đến của
đề tài là nghiên cứu và phát triển hệ thống điều khiển thiết bị một cách tự nhiên và
hiệu quả. Tuy nhiên, trong tương tác người dùng - thiết bị; hiệu quả thể hiện thông
qua tính bền vững của hệ thống đối với sự thay đổi của các yếu tố bên ngoài và khả
năng đáp ứng thời gian thực.
Để giải quyết các vấn đề này, hai xu hướng nghiên cứu đã được đề xuất là: Phát
triển công nghệ phụ trợ và phát triển thuật toán. Với xu hướng phát triển công nghệ
phụ trợ bao gồm các giải pháp sử dụng găng tay chuyên dụng, miếng dán đánh dấu
vùng bàn tay, hoặc gắn trực tiếp cảm biến trên tay hoặc cánh tay khiến cho người
dùng phụ thuộc thiết bị, chi phí mua thiết bị đắt đỏ, và điều khiển không tự nhiên.
Cách tiếp cận thứ hai là phát triển thuật toán, nhận dạng cử chỉ tay đã được triển
khai trong nhiều lĩnh vực khác nhau như: thị giác máy tính và rô bốt, điều khiển và
tự động hóa,... Tuy vậy, yêu cầu về tính bền vững và xử lý thời gian thực vẫn còn là
một thách thức khi nghiên cứu hệ thống nhận dạng cử chỉ tay. Luận án này là một sự
dung hòa của hai hướng tiếp cận trên. Trong đó, một tập cử chỉ tay có tính ngữ nghĩa,
gợi nhớ đã được đề xuất nhằm thay thế các thiết bị phụ trợ, cung cấp các đặc trưng
hữu ích cho hệ thống, nên người dùng có thể điều khiển một cách tự nhiên. Bên cạnh
đó, các giải thuật biểu diễn nhận dạng hoạt động cử chỉ đã được nghiên cứu cà thiết
kế với mục tiêu hiệu quả. Các kết quả đánh giá thử nghiệm chỉ ra rằng, phương pháp
tương tác này tự nhiên hơn và không yêu cầu bất cứ liên kết trực tiếp với thiết bị cũng
1
như không yêu cầu phải có giao diện người dùng. Hệ thống đề xuất tối đa khả năng sử
dụng thông qua công cụ nhận dạng cử chỉ tay và cung cấp hệ thống điều khiển nhiều
thiết bị điện gia dụng với đáp ứng thời gian thực.
Mục tiêu của luận án
Thiết kế tập cơ sở dữ liệu (CSDL) cử chỉ bàn tay tương ứng với một số các lệnh
điều khiển căn bản cho các thiết bị điện tử gia dụng. Ngoài ra, CSDL này có các
đặc trưng hỗ trợ hệ thống nhận dạng đạt được hiệu quả nhận dạng cao.
Nghiên cứu và triển khai giải thuật phân đoạn cử chỉ bàn tay đáp ứng thời gian
thực, bền vững với sự thay đổi của các yếu tố bên ngoài (ánh sáng,...): Nghiên
cứu và đề xuất phương pháp phát hiện và trích chọn vùng bàn tay từ ảnh màu
và ảnh độ sâu, phân đoạn các cử chỉ tay từ chuỗi liên tiếp.
Nghiên cứu và đề xuất phương pháp biểu diễn chuỗi cử chỉ động của bàn tay và
đồng bộ pha giữa các cử chỉ động. Giải pháp hướng tới biểu diễn các cử chỉ tay
theo cả không gian và thời gian, đáp ứng với nhiều người, tại nhiều vị trí, nhiều
hướng khác nhau của người đến cảm biến Kinect.
Triển khai hệ thống điều khiển thiết bị điện tử gia dụng sử dụng cử chỉ bàn tay.
Các đóng góp của luận án
Đóng góp thứ 1: Thiết kế tập CSDL cử chỉ tay tương ứng với các lệnh điều
khiển cơ bản của các thiết bị điện tử gia dụng. Thu thập CSDL, đánh giá tính
khả thi của tập lệnh, thử nghiệm giải thuật đề xuất và chia sẻ cho cộng đồng
nghiên cứu.
Đóng góp thứ 2: Đề xuất giải pháp phân đoạn chuỗi cử chỉ tay đáp ứng thời
gian thực gồm: Giải pháp hiệu quả để phát hiện và trích chọn vùng bàn tay từ
ảnh màu và ảnh độ sâu; Giải pháp phân đoạn cử chỉ từ chuỗi bàn tay liên tiếp.
Đóng góp thứ 3: Đề xuất một phương pháp biểu diễn mới cử chỉ dựa trên đặc
trưng không gian dựa trên biểu diễn đa tạp (ISOMAP), kết hợp với các đặc trưng
thời gian (KLT), có tính đến đồng bộ pha giữa các cử chỉ trên không gian biểu
diễn mới được đề xuất.
Đóng góp thứ 4: Triển khai giải pháp toàn diện để điều khiển một số thiết bị
điện tử gia dụng dùng cử chỉ động của bàn tay. Hệ thống hoàn chỉnh được cài
đặt trong ngữ cảnh trong nhà tại phòng thông minh của Viện MICA.
Cấu trúc của luận án
Mở đầu: Giới thiệu chung tính cấp thiết, mục tiêu của luận án; ngữ cảnh, các
ràng buộc và thách thức khi giải quyết các bài toán; Các đóng góp của luận án.
2
Chương 1: Tổng quan về điều khiển sử dụng cử chỉ bàn tay và các nghiên cứu
liên quan đến các vấn đề đặt ra trong luận án.
Chương 2: Thiết kế và xây dựng cử chỉ bàn tay có tính chất chu kỳ.
Chương 3: Đề xuất phương pháp phát hiện, phân đoạn cử chỉ bàn tay đáp ứng
yêu cầu thời gian thực và độ chính xác. Phân đoạn chuỗi cử chỉ tay động từ chuỗi
liên tiếp các hình trạng bàn tay.
Chương 4: Đề xuất giải pháp biểu diễn các cử chỉ động của bàn tay kết hợp các
đặc trưng không gian và thời gian, giải pháp đồng bộ pha trong không gian mới.
Chương 5: Triển khai, đánh giá hệ thống điều khiển sử dụng cử chỉ tay. Thực
hiện các đánh giá thử nghiệm trên hệ thống hoàn thiện.
Kết luận và định hướng nghiên cứu tiếp theo của luận án.
CHƯƠNG 1
CÁC NGHIÊN CỨU LIÊN QUAN
Chương này trình bày về các nghiên cứu liên quan đến hệ thống điều khiển thiết
bị điện tử gia dụng dùng cử chỉ động của bàn tay và các phương pháp nhận dạng cử
chỉ động của bàn tay với các pha chính gồm: Phát hiện và trích chọn vùng bàn tay
trong ảnh, phân đoạn và nhận dạng các cử chỉ động của bàn tay từ chuỗi ảnh liên tiếp.
1.1
Hệ thống điều khiển thiết bị sử dụng cử chỉ động bàn tay
Đã có nhiều hệ thống điều khiển thiết bị điện gia dụng sử dụng cử chỉ tay đã được
đề xuất như ti vi thông minh của hãng Sansung, Omron,... Các hệ thống này được chia
thành hai nhóm chính: Độc lập và phụ thuộc giao diện người dùng. Với hệ thống yêu
cầu một giao diện người dùng để thực hiện các lệnh điều khiển sẽ không phù hợp với
hầu hết các thiết bị điện tử gia dụng không có màn hình như đèn, quạt,....
1.2
Phương pháp phát hiện và trích chọn bàn tay trong ảnh
Phát hiện vùng bàn tay là xác định sự có mặt và vị trí của vùng bàn tay trong
ảnh. Đây là một pha cần thiết được áp dụng nhằm loại bỏ các yếu tố phông nền không
tham gia vào việc mô hình hóa cử chỉ bàn tay. Đã có nhiều nghiên cứu phát hiện và
trích chọn vùng bàn tay dựa trên các đặc trưng như màu sắc, hình dáng, chuyển động
và độ sâu. Trong khi, bàn tay người có nhiều bậc tự do, hình trạng bàn tay luôn thay
đổi và phụ thuộc vào nhiều yếu tố như góc nhìn của máy ảnh, sự khác nhau về độ to
nhỏ, độ phân giải, cường độ chiếu sáng,.... Bởi vậy, độ chính xác và thời gian đáp ứng
3
nguon tai.lieu . vn
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
ĐOÀN THỊ HƯƠNG GIANG
NHẬN DẠNG CỬ CHỈ ĐỘNG CỦA BÀN TAY
NGƯỜI SỬ DỤNG KẾT HỢP THÔNG TIN HÌNH
ẢNH VÀ ĐỘ SÂU ỨNG DỤNG TRONG TƯƠNG
TÁC NGƯỜI-THIẾT BỊ
Chuyên ngành: Kỹ thuật Điều khiển và Tự động hóa
Mã số: 62520216
TÓM TẮT LUẬN ÁN TIẾN SĨ
ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA
Hà Nội 12−2017
Công trình được hoàn thành tại:
Trường Đại học Bách khoa Hà Nội
Người hướng dẫn khoa học:
1. TS. Vũ Hải
2. TS. Trần Thị Thanh Hải
Phản biện 1: PGS.TS Ngô Quốc Tạo
Phản biện 2: PGS.TS Nguyễn Quang Hoan
Phản biện 3: PGS.TS Trần Đức Tân
Luận án sẽ được bảo vệ trước Hội đồng chấm luận án tiến sĩ
cấp Trường họp tại Trường Đại học Bách khoa Hà Nội:
Vào hồi..........giờ, ngày.......tháng.......năm.......
Có thể tìm hiểu luận án tại thư viện:
1. Thư viện Tạ Quang Bửu - Trường ĐHBK Hà Nội
2. Thư viện Quốc gia Việt Nam
MỞ ĐẦU
Tính cấp thiết của luận án
Ngày nay, công nghệ hiện đại ngày càng phát triển đã trợ giúp cho con người trong
nhiều lĩnh vực khác nhau. Trong đó, tự động hóa tòa nhà hay không gian sống thông
minh là một trong những xu hướng nghiên cứu xuất phát từ nhu cầu thực tế của cuộc
sống. Các hệ thống tự động hóa có mặt ở nhiều lĩnh vực khác nhau trong cuộc sống
hàng ngày, từ những ứng dụng trợ giúp đơn giản như chuông cửa, điều khiển cửa ra
vào nhà, đến việc tự động hóa các thiết bị điện tử gia dụng phức tạp hơn như hệ thống
đèn chiếu sáng, điều hòa, hệ thống loa đài, ti vi,... Mặc dù các ứng dụng tự động hóa
tòa nhà đã được đề xuất nhiều. Các sản phẩm hiện có mới chỉ chủ yếu tập trung vào
các công nghệ tiết kiệm năng lượng, hoặc điều khiển các thiết bị điện tử trong gia đình
sử dụng các thiết bị phụ trợ hoặc yêu cầu một giao diện để tương tác giữa người dùng
và thiết bị. Nhu cầu tự động hóa tòa nhà với sự tương tác giữa người và thiết bị điện
tử gia dụng một cách tự nhiên là cần thiết song bài toán này còn gặp phải nhiều thách
thức như: Không đòi hỏi thiết bị phụ trợ hay tiếp xúc trực tiếp trong quá trình điều
khiển; hoặc không đòi hỏi giao diện tương tác người-thiết bị. Mục tiêu hướng đến của
đề tài là nghiên cứu và phát triển hệ thống điều khiển thiết bị một cách tự nhiên và
hiệu quả. Tuy nhiên, trong tương tác người dùng - thiết bị; hiệu quả thể hiện thông
qua tính bền vững của hệ thống đối với sự thay đổi của các yếu tố bên ngoài và khả
năng đáp ứng thời gian thực.
Để giải quyết các vấn đề này, hai xu hướng nghiên cứu đã được đề xuất là: Phát
triển công nghệ phụ trợ và phát triển thuật toán. Với xu hướng phát triển công nghệ
phụ trợ bao gồm các giải pháp sử dụng găng tay chuyên dụng, miếng dán đánh dấu
vùng bàn tay, hoặc gắn trực tiếp cảm biến trên tay hoặc cánh tay khiến cho người
dùng phụ thuộc thiết bị, chi phí mua thiết bị đắt đỏ, và điều khiển không tự nhiên.
Cách tiếp cận thứ hai là phát triển thuật toán, nhận dạng cử chỉ tay đã được triển
khai trong nhiều lĩnh vực khác nhau như: thị giác máy tính và rô bốt, điều khiển và
tự động hóa,... Tuy vậy, yêu cầu về tính bền vững và xử lý thời gian thực vẫn còn là
một thách thức khi nghiên cứu hệ thống nhận dạng cử chỉ tay. Luận án này là một sự
dung hòa của hai hướng tiếp cận trên. Trong đó, một tập cử chỉ tay có tính ngữ nghĩa,
gợi nhớ đã được đề xuất nhằm thay thế các thiết bị phụ trợ, cung cấp các đặc trưng
hữu ích cho hệ thống, nên người dùng có thể điều khiển một cách tự nhiên. Bên cạnh
đó, các giải thuật biểu diễn nhận dạng hoạt động cử chỉ đã được nghiên cứu cà thiết
kế với mục tiêu hiệu quả. Các kết quả đánh giá thử nghiệm chỉ ra rằng, phương pháp
tương tác này tự nhiên hơn và không yêu cầu bất cứ liên kết trực tiếp với thiết bị cũng
1
như không yêu cầu phải có giao diện người dùng. Hệ thống đề xuất tối đa khả năng sử
dụng thông qua công cụ nhận dạng cử chỉ tay và cung cấp hệ thống điều khiển nhiều
thiết bị điện gia dụng với đáp ứng thời gian thực.
Mục tiêu của luận án
Thiết kế tập cơ sở dữ liệu (CSDL) cử chỉ bàn tay tương ứng với một số các lệnh
điều khiển căn bản cho các thiết bị điện tử gia dụng. Ngoài ra, CSDL này có các
đặc trưng hỗ trợ hệ thống nhận dạng đạt được hiệu quả nhận dạng cao.
Nghiên cứu và triển khai giải thuật phân đoạn cử chỉ bàn tay đáp ứng thời gian
thực, bền vững với sự thay đổi của các yếu tố bên ngoài (ánh sáng,...): Nghiên
cứu và đề xuất phương pháp phát hiện và trích chọn vùng bàn tay từ ảnh màu
và ảnh độ sâu, phân đoạn các cử chỉ tay từ chuỗi liên tiếp.
Nghiên cứu và đề xuất phương pháp biểu diễn chuỗi cử chỉ động của bàn tay và
đồng bộ pha giữa các cử chỉ động. Giải pháp hướng tới biểu diễn các cử chỉ tay
theo cả không gian và thời gian, đáp ứng với nhiều người, tại nhiều vị trí, nhiều
hướng khác nhau của người đến cảm biến Kinect.
Triển khai hệ thống điều khiển thiết bị điện tử gia dụng sử dụng cử chỉ bàn tay.
Các đóng góp của luận án
Đóng góp thứ 1: Thiết kế tập CSDL cử chỉ tay tương ứng với các lệnh điều
khiển cơ bản của các thiết bị điện tử gia dụng. Thu thập CSDL, đánh giá tính
khả thi của tập lệnh, thử nghiệm giải thuật đề xuất và chia sẻ cho cộng đồng
nghiên cứu.
Đóng góp thứ 2: Đề xuất giải pháp phân đoạn chuỗi cử chỉ tay đáp ứng thời
gian thực gồm: Giải pháp hiệu quả để phát hiện và trích chọn vùng bàn tay từ
ảnh màu và ảnh độ sâu; Giải pháp phân đoạn cử chỉ từ chuỗi bàn tay liên tiếp.
Đóng góp thứ 3: Đề xuất một phương pháp biểu diễn mới cử chỉ dựa trên đặc
trưng không gian dựa trên biểu diễn đa tạp (ISOMAP), kết hợp với các đặc trưng
thời gian (KLT), có tính đến đồng bộ pha giữa các cử chỉ trên không gian biểu
diễn mới được đề xuất.
Đóng góp thứ 4: Triển khai giải pháp toàn diện để điều khiển một số thiết bị
điện tử gia dụng dùng cử chỉ động của bàn tay. Hệ thống hoàn chỉnh được cài
đặt trong ngữ cảnh trong nhà tại phòng thông minh của Viện MICA.
Cấu trúc của luận án
Mở đầu: Giới thiệu chung tính cấp thiết, mục tiêu của luận án; ngữ cảnh, các
ràng buộc và thách thức khi giải quyết các bài toán; Các đóng góp của luận án.
2
Chương 1: Tổng quan về điều khiển sử dụng cử chỉ bàn tay và các nghiên cứu
liên quan đến các vấn đề đặt ra trong luận án.
Chương 2: Thiết kế và xây dựng cử chỉ bàn tay có tính chất chu kỳ.
Chương 3: Đề xuất phương pháp phát hiện, phân đoạn cử chỉ bàn tay đáp ứng
yêu cầu thời gian thực và độ chính xác. Phân đoạn chuỗi cử chỉ tay động từ chuỗi
liên tiếp các hình trạng bàn tay.
Chương 4: Đề xuất giải pháp biểu diễn các cử chỉ động của bàn tay kết hợp các
đặc trưng không gian và thời gian, giải pháp đồng bộ pha trong không gian mới.
Chương 5: Triển khai, đánh giá hệ thống điều khiển sử dụng cử chỉ tay. Thực
hiện các đánh giá thử nghiệm trên hệ thống hoàn thiện.
Kết luận và định hướng nghiên cứu tiếp theo của luận án.
CHƯƠNG 1
CÁC NGHIÊN CỨU LIÊN QUAN
Chương này trình bày về các nghiên cứu liên quan đến hệ thống điều khiển thiết
bị điện tử gia dụng dùng cử chỉ động của bàn tay và các phương pháp nhận dạng cử
chỉ động của bàn tay với các pha chính gồm: Phát hiện và trích chọn vùng bàn tay
trong ảnh, phân đoạn và nhận dạng các cử chỉ động của bàn tay từ chuỗi ảnh liên tiếp.
1.1
Hệ thống điều khiển thiết bị sử dụng cử chỉ động bàn tay
Đã có nhiều hệ thống điều khiển thiết bị điện gia dụng sử dụng cử chỉ tay đã được
đề xuất như ti vi thông minh của hãng Sansung, Omron,... Các hệ thống này được chia
thành hai nhóm chính: Độc lập và phụ thuộc giao diện người dùng. Với hệ thống yêu
cầu một giao diện người dùng để thực hiện các lệnh điều khiển sẽ không phù hợp với
hầu hết các thiết bị điện tử gia dụng không có màn hình như đèn, quạt,....
1.2
Phương pháp phát hiện và trích chọn bàn tay trong ảnh
Phát hiện vùng bàn tay là xác định sự có mặt và vị trí của vùng bàn tay trong
ảnh. Đây là một pha cần thiết được áp dụng nhằm loại bỏ các yếu tố phông nền không
tham gia vào việc mô hình hóa cử chỉ bàn tay. Đã có nhiều nghiên cứu phát hiện và
trích chọn vùng bàn tay dựa trên các đặc trưng như màu sắc, hình dáng, chuyển động
và độ sâu. Trong khi, bàn tay người có nhiều bậc tự do, hình trạng bàn tay luôn thay
đổi và phụ thuộc vào nhiều yếu tố như góc nhìn của máy ảnh, sự khác nhau về độ to
nhỏ, độ phân giải, cường độ chiếu sáng,.... Bởi vậy, độ chính xác và thời gian đáp ứng
3