Bài giảng bài 12: Hiện thực ảo Virtual Reality

I. Virtual Reality Bài 12 - Hiện thực ảo Khái niệm “virtual” ? Virtual Reality ④ “Virtual” là 1 trong những từ được lạm dụng trong ngành công nghệ cao ngày nay và được dùng phổ biến. ④ “virtual bank”, “virtual heritage”,... ngụ ý đến 1 điều kỳ quái -monstrosities. ④virtual X ④ với X có thể là bất cứ thứ gì , điều gì. virtual X không phải là X nhưng có giao diện (hình dáng, hoạt động ...) giống hệt như X ④ Ví dụ: virtual memory không phải là bộ nhớ nhưng nó làm việc với vi xử lý đúng như là bộ nhớ. ④ Tương tự virtual disks, virtual terminals, virtual networks, etc. CNTT-ĐHBK Hà nộiKhoa CNTT/ĐHBK Hà nội 1 CNTT-ĐHBK Hà nội 2 Định nghĩa Virtual Reality Coates (1992): Greenbaum (1992): Theo kinh nghiệm con người: (Isdale, 1998) Các thuật ngữ khác thường dùng: Virtual Worlds, Virtual Environments, Immersive VR, Cyberspace ... Lịch sử phát triển 1962 : Sensorama (from the movie industry : Morton Heilig) 1970sh : visualisation of virtual world on the screen 1970 : First Head Mounted Display : Daniel Vivkers from Utah University (From a Ivan Sutherland / MIT `s idea) 1982 : Dataglove 1980-85 : First VR commercial products 1987 Virtual Cockpit (British Aerospace) head and hand tracking, eye tracking, 3d visuals, 3D audio, speech recognition vibro tactile feedback 1990-95 : Popularisation of VR (Film, Books...) ④ ARMY – spend close to $1000 million 1998 in VRresearch. CNTT-ĐHBK Hà nội 3 CNTT-ĐHBK Hà nội 4 So sánh Virtual Reality và các Media khác Kiến trúc hệ thống của Virtual Environments ④ Sống động - Vividness (biểu diễn được môi trường chính xác) ④ breadth (visibility, audibility, touch, smell) ④ depth (quality, fidelity-chính xác) ④ Tương tác - Interactivity (cho phép người dùng có khả năng thay đổi môi trường ) ④ speed (update rates, time lag) ④ mapping (text, speech, gestures, gaze, complex behavior patterns) CNTT-ĐHBK Hà nội 5 CNTT-ĐHBK Hà nội 6 Thành phần Kiến trúc ④ Đối tượng, thực thể- Objects, entities (cars, buildings, sky, …) Tính chất hình học- Shape, color, texture Tính chất vật lý – Weight, speed, position, etc… ④ Người dùng - User Tương tác với môi trường, có thể được nhìn thấy bằng CAMERA Có hình thể tham gia vào thế giới ảo (avatar) Có thể nghe, nói (Voice recognition) Có thể di chuyển (gesture recognition) ④ Đa người dùng - Multi user Mạng máy tính - Network connection ④ Mô phỏng - Simulation Điều khiển ứng dụng Điều khiển hướng sự kiện (tránh va chạm) Mô phỏng hướng theo tính chất vật lý của đối tượng (act according the objects physical attributes) ④ Thế giới, môi trường World Kết nối tát cả những phần khác nhau vào thành 1 môi trường mà người dùng hoạt động ở trong đó CNTT-ĐHBK Hà nội 7 Đặc điểm Thực tế của Hiện thực ảo Đặc điểm ④Virtual reality (VR), Phải đảm bảo ④Trong thực tế để đạt được chấp nhận: ④Hoà nhập - “immersion”. CNTT-ĐHBK Hà nội 8 Công nghệ trong VR ④Một VR thật không tồn tại, làm con người cảm thấy thoải mái khi có các nhầm lẫn, Phải có được đặc điểm ④Cảm giác hoà nhập - immersion: ④Cho phép tương tác với các đối tượng trong cảnh như cách ngời dùng làm trong thực tế chấp nhận tính xấp xỉ với hạn độ hợp lý. ④Tạo càng nhiều cảm nhận trên các giác quan càng tốt ④Màn hình hiển thị-Visual displays: hiển thị thế giới ảo đến người sử dụng. ④Hệ thống theo dõi-Tracking systems: theo dõi vị trí và hướng của người dùng trong môi trường ảo ④Hệ thống tính toán-Computation Systems: thực hiện những tính toán cần thiết để sinh ra không gian ảo ④Thiết bị xúc giác-Haptic devices: cung cấp thao tác và nhận được các cảm giác phản hồi từ thế giới thực ④Audio systems- phản hồi âm thanh từ thực tại ảo CNTT-ĐHBK Hà nội 9 CNTT-ĐHBK Hà nội 10 Cảm nhận môi trường ảo Perceive Perceive ? hearing sight touch smell taste kinesthesia The ability to hear; the auditory faculty; SYN. audition, auditory sense, sense of hearing, auditory modality. The ability to see; the faculty of vision; SYN. vision, visual sense, visual modality. The faculty of touch; SYN. sense of touch, skin senses, touch modality, cutaneous senses. The faculty of smell; SYN. sense of smell, olfaction, olfactory modality. savour, flavour tongue/nose The faculty of taste; SYN. gustation, sense of taste, gustatory position, movement, The perception of body position and movement and muscular tension tensions etc; SYN: kinaestesia, feeling of movement a) monoscopic cues( cảnh mono) relative size interposition and occlusion( lỏng lẻo) perspective distortion( méo) lighting and shadows texture gradient motion parallax ( thị sai chuyển động) b) binocular (stereoscopic) cues stereo disparity (phân tách) convergence( hội tụ) balance, acceleration, position, location, proprioception orientation, ear movement of the body The ability to sense the position and location and orientation and movement of the body and its parts. Anthropocentric User-Diagram CNTT-ĐHBK Hà nội 11 CNTT-ĐHBK Hà nội 12 Tái tạo cảm giác recreate sensation ? ④a) monoscopic cues ④ realistic rendering / lighting simulation ④b) stereoscopic cues -> stereodisparity presentation of appropriate view to each eye ④ - time multiplexing of images ④ - multiplexing with chromatic filters (anaglyph) ④ - multiplexing with polarizer filters ④ - providing two views simultaneously ④ Color Encoded Stereo Image Pair Yêu cầu VR ④ Cảnh-scene: cần được vẽ, sinh ra phụ thuộc vào điểm nhìn của người dùng ④ Vị trí của mắt cần xác định, thiết bị theo dõi xác định hướng và vị trí của đầu và mắt. Theo đó Phần mềm cần hiệu chỉnh ma trận chiếu phù hợp để có kết quả.. ④ Cảnh hiển thị 3-D . ④ stereo vision: Hình ảnh nhận được sử dụng sự khác biệt We perceive 3-D primarily using the difference between the images received by the two eyes -. ④ perceive 3-D is by focus: the lens in the eye focuses light differently for near vs. far objects. ④ The user needs to be able to affect the scene somehow. ④ Tracking capability (to determine head/eye placement), the user a hand-held object with a tracker on it. ④ User’s motions directly, either through placement of tracking devices on the user’s clothes, or by giving the computer several video feeds of the user. CNTT-ĐHBK Hà nội 13 CNTT-ĐHBK Hà nội 14 Ứng dụng ④ Engineering ④ Aero Engine design ④ Submarine design ④ Architecture ④ Human factors modeling ④ Industrial concept design ④ Telecoms engineering ④ Entertainment ④ Computer animator ④ Television ④ Game system ④Science – Computational Neuroscience – Molecular modeling – Phobias ~ Virtual Therapy – Telepresence – Ultrasound Echolography ④Training – High-risk work – Flight simulation – Medicine – Military training – Nuclear industry – Accident simulation (Airline, car collision testing) An Immersive Car Simulator Using HMD(© British Aerospace) CNTT-ĐHBK Hà nội 15 CNTT-ĐHBK Hà nội 16 A BOOM Display Application in Aerodynamics (© NASA Ames Research Center) Phân loại VR- Desktop VR ④ Desktop VR ④ Non-immersive: chuột 3d, window system ④ 3D world hiển thị tren màn hình, chuột và bàn phím là đầu vào tương tác. ④ Giá thấp, dùng cả với PC thông dụng. ④ VRML, Games ④ Window on a World (WoW) ④ Một số hệ thống sử dụng một màn hình truyền thống để hiển thị thế giới trực quan (visual world). ④ Người ta phải xem màn hình hiển thị như là một cửa sổ mà qua cửa sổ đó người ta có thể thấy một thế giới ảo. ④ Thách thức đối với lĩnh vực đồ hoạ máy tính là làm cho hình ảnh trong cửa sổ đó trông giống như thật, âm thanh nghe giống thật và các đối tượng hành động giống thật. ④ “One must look at a display screen as a window through which one beholds a virtual world. The challenge to computer graphics is to make the picture in the window look real, sound real and the objects act real” [quoted from Computer Graphics V26#3]. CNTT-ĐHBK Hà nội 17 CNTT-ĐHBK Hà nội 18 Thế giới thực bổ xung-Ánh xạ Video (Video Mapping) Augmented Reality ④ Đây là một biến thể của cách tiếp cận theo kiểu WoW. Tiếp cận theo kiểu này sẽ kết hợp một đoạn video hình ảnh người sử dụng với đồ hoạ 2D. Người sử dụng sẽ thấy một màn hình hiển thị tương tác của hình anh ta với máy tính. ④ DVR hệ thống đơn giản sử dụng các thiết bị tương tác thông thường như : chuột 3d, window system. Thế giới 3D được hiển thị trên màn hình, chuột và bàn phím là đầu vào tương tác. ④ Ưu điểm của hệ thống và các ứng dụng loại nay là chi phí và giá cả thấp, có thể dùng được cả với PC thông dụng và các thiết bị thông dụng khác. ④ Phù hợp với việc phát triển những ứng dụng đại trà và các sản phẩm cấp thấp không cần đến đội chính xác tuyệt đối. ④ Sự kết hợp giữa đồ hoạ và thế giới thực tạo thành 1 hệ thống chung phục vụ cho việc nhìn nhận và đánh giá thế giới thực. ④ Kết hợp Telepresence và các hệ thống thực tại ảo cho ta một thực tại hỗn hợp(Mixed Reality) hay các hệ thống mô phỏng liền mạch (Seamless Simulation systems). ④ Ở đây, các dữ liệu vào sinh sinh ra bởi máy tính sẽ được hợp nhất (kết hợp) với các dữ liệu vào telepresence và/hoặc quan điểm (cách nhìn) về thế giới thực của người sử dụng. CNTT-ĐHBK Hà nội 19 CNTT-ĐHBK Hà nội 20 Xuất hiện - Presence Xuất hiện ảo-Virtual presence ... Is experienced by a person when sensory information generated only by and within a computer compels a feeling of being present in an environment other than the one the person is actually in” (Sheridan, 1992, pg.6) ④ Presence: là cảm nhận tâm lý xuất hiện ở một môi trường dựa vào công nghệ hình thành theo kiểu hoà nhập - immersive. ④ Trên thực tế hệ thống hoạt động theo kiêu này không cần thiết áp dụng cho tất cả mọi người mà chỉ cho một vài người có vai trò nhất định trong cộng đồng. ④ Việc tích hợp giữa immersive và presence luôn là bài toán khó cho công nghệ . Một ứng dụng của Presence là: Telepresence và teleoperate Telepresence ④ Telepresence : Là thuật ngữ mô tả việc sử dụng các công nghệ khác nhau gây hiệu ứng đặt ngưòi dùng tại một vị trí khác. ④ Telepresence là một cách mường tượng, hình dung các thế giới được sinh ra hoàn toàn trong máy tính. Đây là một kỹ thuật kết nối các cảm biến từ xa trong thế giới thực với cảm giác của người điều khiển. Các cảm biến từ xa này có thể được định vị trên một robot, giống như là các công cụ. ④ Lính cứu hoả sử dụng các phương tiện điều khiển từ xa để xử lý những trường hợp nguy hiểm. Các bác sĩ giải phẫu sử dụng các thiết bị vô cùng nhỏ trên những dây cáp để thực hiện ca phẫu thuật mà không cần rạch ra một lỗ lớn trên cơ thể bệnh nhân. Các thiết bị này có một video camera nhỏ ở đầu làm việc (business end). ④ Các robot được trang bị các hệ thống telepresence này đã thay đổi cách thức thực hiện các cuộc thí nghiệm về biển sâu hoặc núi lửa. Kỹ thuật này ngoài ra còn được áp dụng trong các cuộc nghiên cứu vũ trụ... CNTT-ĐHBK Hà nội 21 CNTT-ĐHBK Hà nội 22 II. Immersion( hoà nhập) ④ Tạo ra cảm giác hoà nhập giữa người dùng và môi trường, hình ảnh quan sát là hình ảnh người sử dụng nhìn được bao gồm cả không gian và phương hướng. ④ Phần hình ảnh người dùng quan sát được chỉ là 1 phần rất nhỏ so với không gian hiển thị ④ Thông thường công nghệ cho hiển thị đóng vai trò quan trọng và các cảm nhận khác cũng được kiểm tra. ④ Hệ thống thực tại ảo - VR systems sẽ tạo cho người dùng là một phần của thế giới ảo đang được mô phỏng chứ không đơn thuần môi trường ảo đang mô phỏng là 1 góc của thế giới thực mà người dùng hiện hữu. ④ Hệ thống immersive VR đầu tiên là hệ thống mô phỏng lái máy bay mà ở đó sự hoà nhập là sự kết hợp tinh xảo giữa các thiết bị thật và các hình ảnh ảo. Buồng lái thật với các thiết bị thực tế cho phép phi công sử dụng như 1 chuyến bay bình thường. Hình ảnh hiển thị là những cảnh ảo được chuẩn bị sẵn. CNTT-ĐHBK Hà nội 23 Kỹ thuật sinh immersive ④Head-Mounted Display: Put the screen right in front of the user’s eyes. Include a lens, for comfortable focusing. ④ Advantage: It is easy to give the eyes different views. ④ Disadvantage: Need separate screen for each user. ④ BIG Disadvantage: When the user’s head moves, there is noticeable lag before the image updates. (Faster computers should fix this problem.) ④Large-Screen Display: Use a very large screen or group of screens that fill the user’s vision. ④ Advantage: Image-update lag is not as much of a problem. (Why not?) ④ Advantage: Multiple users can view a single screen (but only one gets a precisely correct view). ④ BIG Disadvantage: The setup is incredibly expensive. ④ Challenge: How to give the eyes different views? CNTT-ĐHBK Hà nội 24 Phân loại Immersive - Virtual Environments ... - tailieumienphi.vn