Xem mẫu

  1. Bài 12 Thực tại ảo I. Virtual Reality Bài 12 - Hiện thực ảo Khái niệm “virtual” ? Virtual Reality „ “Virtual” là 1 trong những từ được lạm dụng trong ngành công nghệ cao ngày nay và được dùng phổ biến. „ “virtual bank”, “virtual heritage”,... ngụ ý đến 1 điều kỳ quái - monstrosities. „ virtual X „ với X có thể là bất cứ thứ gì , điều gì. virtual X không phải là X nhưng có giao diện (hình dáng, hoạt động ...) giống hệt như X „ Ví dụ: virtual memory không phải là bộ nhớ nhưng nó làm việc với vi xử lý đúng như là bộ nhớ. „ Tương tự virtual disks, virtual terminals, virtual networks, etc. CNTT-ĐHBK Hà nộiKhoa CNTT/ĐHBK Hà nội 1 CNTT-ĐHBK Hà nội 2 Định nghĩa Virtual Reality Lịch sử phát triển Coates (1992): 1962 : Sensorama (from the movie industry : Morton Heilig) 1970sh : visualisation of virtual world on the screen Greenbaum (1992): 1970 : First Head Mounted Display : Daniel Vivkers from Utah University (From a Ivan Sutherland / MIT 's idea) Theo kinh nghiệm con người: 1982 : Dataglove (Isdale, 1998) 1980-85 : First VR commercial products 1987 Virtual Cockpit (British Aerospace) head and hand tracking, eye tracking, 3d visuals, 3D audio, speech recognition vibro tactile feedback Các thuật ngữ khác thường dùng: 1990-95 : Popularisation of VR (Film, Books...) Virtual Worlds, Virtual Environments, Immersive VR, Cyberspace „ ARMY – spend close to $1000 million 1998 in VRresearch. ... CNTT-ĐHBK Hà nội 3 CNTT-ĐHBK Hà nội 4 So sánh Virtual Reality và các Kiến trúc hệ thống của Virtual Media khác Environments „ Sống động - Vividness (biểu diễn được môi trường chính xác) „ breadth (visibility, audibility, touch, smell) „ depth (quality, fidelity-chính xác) „ Tương tác - Interactivity (cho phép người dùng có khả năng thay đổi môi trường ) „ speed (update rates, time lag) „ mapping (text, speech, gestures, gaze, complex behavior patterns) CNTT-ĐHBK Hà nội 5 CNTT-ĐHBK Hà nội 6 Khoa CNTT - ĐHBK Hà nội hunglt@it-hut.edu.vn CuuDuongThanCong.com https://fb.com/tailieudientucntt 0913030731 1
  2. Bài 12 Thực tại ảo Thành phần Kiến trúc Đặc điểm „ Đối tượng, thực thể- Objects, entities (cars, buildings, sky, …) „ Virtual reality (VR), Phải đảm bảo Tính chất hình học- Shape, color, texture Tính chất vật lý – Weight, speed, position, etc… „ Người dùng - User Tương tác với môi trường, có thể được nhìn thấy bằng CAMERA Có hình thể tham gia vào thế giới ảo (avatar) „ Trong thực tế để đạt được chấp nhận: Có thể nghe, nói (Voice recognition) Có thể di chuyển (gesture recognition) „ Đa người dùng - Multi user Mạng máy tính - Network connection „ Mô phỏng - Simulation „ Hoà nhập - “immersion”. Điều khiển ứng dụng Điều khiển hướng sự kiện (tránh va chạm) Mô phỏng hướng theo tính chất vật lý của đối tượng (act according the objects physical attributes) „ Thế giới, môi trường World Kết nối tát cả những phần khác nhau vào thành 1 môi trường mà người dùng hoạt động ở trong đó CNTT-ĐHBK Hà nội 7 CNTT-ĐHBK Hà nội 8 Đặc điểm Thực tế của Hiện thực ảo Công nghệ trong VR „ Một VR thật không tồn tại, làm con người cảm thấy thoải mái „ Màn hình hiển thị-Visual displays: hiển thị thế giới ảo đến người khi có các nhầm lẫn, Phải có được đặc điểm sử dụng. „ Cảm giác hoà nhập - immersion: „ Hệ thống theo dõi-Tracking systems: theo dõi vị trí và hướng của người dùng trong môi trường ảo „ Cho phép tương tác với các đối tượng trong cảnh như cách „ Hệ thống tính toán-Computation Systems: thực hiện những tính ngời dùng làm trong thực tế chấp nhận tính xấp xỉ với hạn độ toán cần thiết để sinh ra không gian ảo hợp lý. „ Thiết bị xúc giác-Haptic devices: cung cấp thao tác và nhận được „ Tạo càng nhiều cảm nhận trên các giác quan càng tốt các cảm giác phản hồi từ thế giới thực „ Audio systems- phản hồi âm thanh từ thực tại ảo CNTT-ĐHBK Hà nội 9 CNTT-ĐHBK Hà nội 10 Cảm nhận môi trường ảo Perceive Perceive ? The ability to hear; the auditory faculty; SYN. audition, auditory a) monoscopic cues( cảnh mono) hearing sound ears,body sense, sense of hearing, auditory modality. relative size The ability to see; the faculty of vision; SYN. vision, visual sense, interposition and occlusion( lỏng lẻo) sight image eyes perspective distortion( méo) visual modality. The faculty of touch; SYN. sense of touch, skin senses, touch lighting and shadows touch surface / temperature skin modality, cutaneous senses. texture gradient smell odour nose The faculty of smell; SYN. sense of smell, olfaction, olfactory motion parallax ( thị sai chuyển động) modality. b) binocular (stereoscopic) cues The faculty of taste; SYN. gustation, sense of taste, gustatory taste savour, flavour tongue/nose modality. stereo disparity (phân tách) position, movement, convergence( hội tụ) The perception of body position and movement and muscular tension kinesthesia muscular muscles etc; SYN: kinaestesia, feeling of movement tensions balance, acceleration, position, location, The ability to sense the position and location and orientation and proprioception orientation, ear movement of the body and its parts. movement of the body Anthropocentric User-Diagram CNTT-ĐHBK Hà nội 11 CNTT-ĐHBK Hà nội 12 Khoa CNTT - ĐHBK Hà nội hunglt@it-hut.edu.vn CuuDuongThanCong.com https://fb.com/tailieudientucntt 0913030731 2
  3. Bài 12 Thực tại ảo Tái tạo cảm giác recreate sensation ? Yêu cầu VR „ a) monoscopic cues „ Cảnh-scene: cần được vẽ, sinh ra phụ thuộc vào điểm nhìn của người dùng „ realistic rendering / lighting simulation „ Vị trí của mắt cần xác định, thiết bị theo dõi xác định hướng và vị trí của đầu và mắt. „ b) stereoscopic cues -> stereodisparity presentation of Theo đó Phần mềm cần hiệu chỉnh ma trận chiếu phù hợp để có kết quả.. appropriate view to each eye „ Cảnh hiển thị 3-D . „ stereo vision: Hình ảnh nhận được sử dụng sự khác biệt We perceive 3-D primarily „ - time multiplexing of images using the difference between the images received by the two eyes -. „ - multiplexing with chromatic filters (anaglyph) „ perceive 3-D is by focus: the lens in the eye focuses light differently for near vs. „ - multiplexing with polarizer filters far objects. „ The user needs to be able to affect the scene somehow. „ - providing two views simultaneously „ Tracking capability (to determine head/eye placement), the user a hand-held „ Color Encoded Stereo Image Pair object with a tracker on it. „ User’s motions directly, either through placement of tracking devices on the user’s clothes, or by giving the computer several video feeds of the user. CNTT-ĐHBK Hà nội 13 CNTT-ĐHBK Hà nội 14 An Immersive Car Simulator Science Ứng dụng „ – Computational Neuroscience Using HMD(© British Aerospace) – Molecular modeling „ Engineering – Phobias ~ Virtual Therapy „ Aero Engine design – Telepresence „ Submarine design – Ultrasound Echolography „ Architecture „ Human factors modeling „ Training – High-risk work „ Industrial concept design „ Telecoms engineering – Flight simulation „ Entertainment – Medicine „ Computer animator – Military training „ Television – Nuclear industry „ Game system – Accident simulation (Airline, car collision testing) CNTT-ĐHBK Hà nội 15 CNTT-ĐHBK Hà nội 16 A BOOM Display Application in Phân loại VR- Desktop VR Aerodynamics (© NASA Ames Research Center) „ Desktop VR „ Non-immersive: chuột 3d, window system „ 3D world hiển thị tren màn hình, chuột và bàn phím là đầu vào tương tác. „ Giá thấp, dùng cả với PC thông dụng. „ VRML, Games „ Window on a World (WoW) „ Một số hệ thống sử dụng một màn hình truyền thống để hiển thị thế giới trực quan (visual world). „ Người ta phải xem màn hình hiển thị như là một cửa sổ mà qua cửa sổ đó người ta có thể thấy một thế giới ảo. „ Thách thức đối với lĩnh vực đồ hoạ máy tính là làm cho hình ảnh trong cửa sổ đó trông giống như thật, âm thanh nghe giống thật và các đối tượng hành động giống thật. „ “One must look at a display screen as a window through which one beholds a virtual world. The challenge to computer graphics is to make the picture in the window look real, sound real and the objects act real” [quoted from Computer Graphics V26#3]. CNTT-ĐHBK Hà nội 17 CNTT-ĐHBK Hà nội 18 Khoa CNTT - ĐHBK Hà nội hunglt@it-hut.edu.vn CuuDuongThanCong.com https://fb.com/tailieudientucntt 0913030731 3
  4. Bài 12 Thực tại ảo Thế giới thực bổ xung- Ánh xạ Video (Video Mapping) Augmented Reality „ Đây là một biến thể của cách tiếp cận theo kiểu WoW. Tiếp cận theo kiểu này „ Sự kết hợp giữa đồ hoạ và thế giới thực tạo thành 1 hệ thống sẽ kết hợp một đoạn video hình ảnh người sử dụng với đồ hoạ 2D. Người sử dụng sẽ thấy một màn hình hiển thị tương tác của hình anh ta với máy tính. chung phục vụ cho việc nhìn nhận và đánh giá thế giới thực. „ DVR hệ thống đơn giản sử dụng các thiết bị tương tác thông thường như : „ Kết hợp Telepresence và các hệ thống thực tại ảo cho ta một chuột 3d, window system. Thế giới 3D được hiển thị trên màn hình, chuột và thực tại hỗn hợp(Mixed Reality) hay các hệ thống mô phỏng bàn phím là đầu vào tương tác. liền mạch (Seamless Simulation systems). „ Ưu điểm của hệ thống và các ứng dụng loại nay là chi phí và giá cả thấp, có „ Ở đây, các dữ liệu vào sinh sinh ra bởi máy tính sẽ được hợp thể dùng được cả với PC thông dụng và các thiết bị thông dụng khác. nhất (kết hợp) với các dữ liệu vào telepresence và/hoặc quan „ Phù hợp với việc phát triển những ứng dụng đại trà và các sản phẩm cấp thấp điểm (cách nhìn) về thế giới thực của người sử dụng. không cần đến đội chính xác tuyệt đối. CNTT-ĐHBK Hà nội 19 CNTT-ĐHBK Hà nội 20 Xuất hiện - Presence Telepresence „ Telepresence : Là thuật ngữ mô tả việc sử dụng các công nghệ khác nhau gây hiệu ứng đặt ngưòi dùng tại một vị trí khác. Xuất hiện ảo-Virtual presence „ Telepresence là một cách mường tượng, hình dung các thế giới được sinh ra hoàn toàn trong máy tính. Đây là một kỹ thuật kết nối các cảm biến từ xa ... Is experienced by a person when sensory information generated only by and within a trong thế giới thực với cảm giác của người điều khiển. Các cảm biến từ xa computer compels a feeling of being present in an environment other than the one the person is actually in” (Sheridan, 1992, pg.6) này có thể được định vị trên một robot, giống như là các công cụ. „ Presence: là cảm nhận tâm lý xuất hiện ở một môi trường dựa vào công nghệ hình „ Lính cứu hoả sử dụng các phương tiện điều khiển từ xa để xử lý những trường hợp nguy hiểm. Các bác sĩ giải phẫu sử dụng các thiết bị vô cùng nhỏ trên thành theo kiểu hoà nhập - immersive. những dây cáp để thực hiện ca phẫu thuật mà không cần rạch ra một lỗ lớn „ Trên thực tế hệ thống hoạt động theo kiêu này không cần thiết áp dụng cho tất cả mọi trên cơ thể bệnh nhân. Các thiết bị này có một video camera nhỏ ở đầu làm người mà chỉ cho một vài người có vai trò nhất định trong cộng đồng. việc (business end). „ Việc tích hợp giữa immersive và presence luôn là bài toán khó cho công nghệ . Một „ Các robot được trang bị các hệ thống telepresence này đã thay đổi cách thức ứng dụng của Presence là: Telepresence và teleoperate thực hiện các cuộc thí nghiệm về biển sâu hoặc núi lửa. Kỹ thuật này ngoài ra còn được áp dụng trong các cuộc nghiên cứu vũ trụ... CNTT-ĐHBK Hà nội 21 CNTT-ĐHBK Hà nội 22 II. Immersion( hoà nhập) Kỹ thuật sinh immersive „ Tạo ra cảm giác hoà nhập giữa người dùng và môi trường, hình ảnh quan „ Head-Mounted Display: Put the screen right in front of the sát là hình ảnh người sử dụng nhìn được bao gồm cả không gian và user’s eyes. Include a lens, for comfortable focusing. phương hướng. „ Advantage: It is easy to give the eyes different views. „ Phần hình ảnh người dùng quan sát được chỉ là 1 phần rất nhỏ so với „ Disadvantage: Need separate screen for each user. không gian hiển thị „ BIG Disadvantage: When the user’s head moves, there is noticeable lag „ Thông thường công nghệ cho hiển thị đóng vai trò quan trọng và các cảm before the image updates. (Faster computers should fix this problem.) nhận khác cũng được kiểm tra. „ Large-Screen Display: Use a very large screen or group of „ Hệ thống thực tại ảo - VR systems sẽ tạo cho người dùng là một phần của screens that fill the user’s vision. thế giới ảo đang được mô phỏng chứ không đơn thuần môi trường ảo đang „ Advantage: Image-update lag is not as much of a problem. (Why not?) mô phỏng là 1 góc của thế giới thực mà người dùng hiện hữu. „ Advantage: Multiple users can view a single screen (but only one gets a precisely correct view). „ Hệ thống immersive VR đầu tiên là hệ thống mô phỏng lái máy bay mà ở „ BIG Disadvantage: The setup is incredibly expensive. đó sự hoà nhập là sự kết hợp tinh xảo giữa các thiết bị thật và các hình ảnh „ Challenge: How to give the eyes different views? ảo. Buồng lái thật với các thiết bị thực tế cho phép phi công sử dụng như 1 chuyến bay bình thường. Hình ảnh hiển thị là những cảnh ảo được chuẩn bị sẵn. CNTT-ĐHBK Hà nội 23 CNTT-ĐHBK Hà nội 24 Khoa CNTT - ĐHBK Hà nội hunglt@it-hut.edu.vn CuuDuongThanCong.com https://fb.com/tailieudientucntt 0913030731 4
  5. Bài 12 Thực tại ảo Hoà nhập mức độ thấp Phân loại First Level of Immersion / Immersive - Virtual Environments Interactivity Low level, Physical level 1. Immersive Virtual Environments- môi trường ảo hoà nhập „ Because the computer is physically connected to the human • các đối tượng tương tác quan sát được và độc lập hoàn toàn với thế giới thật body by its senses and its motor responses. • Cảnh ảo phản ứng lại các hành động tương tác của đối tượng. „ The physical devices, Which interface to use ? • các đối tượng không thể tác động lên môi trường thật „ You have to know that not only Sight interface exist (HMD...), 2. Semi-Immersive Virtual Environments-môi trường ảo bán hoà nhập but lots of other,l you should have an idea of all the others • các đối tượng có thể tác động lên cả môi trường thật và ảo • vai trò của các đối tượng trong môi trường ảo lớn hơn nhiều so với môi trường „ What Hardware (interface, computer) ? thật „ What Software (Driver, Toolkit, Programming Language...) ? • tác động nên môi trường thực là rất hạn chế 3. Non-Immersive Virtual Environments – VR thông thường • các cảnh 3D như là 1 phần của thế giới thật (môi trường vật lý) • các đối tượng đáp lại hoàn toàn trong thế giới thật • Tồn tại rất ít quan hệ với môi trường ảo - VE CNTT-ĐHBK Hà nội 25 CNTT-ĐHBK Hà nội 26 Các bước thiết kế Second Level : Mental Immersion / Interactivity of the user Triadic diagram for the behavioral interfacing VR Environments „ Desired Behavior... where are the Content shemas... • story writing „ Effective motor function : what the • scenario setup user will do : Schema, Schema by • semantics substitution or Metaphore Objects „ Effective perception : as natural as • geometry and static attributes (color etc…) possible, with as many senses as • textures possible, and as weel synchorised • sound (cohering) as possible Dynamics „ programmed motor function : • object relationships Behavorial Software Assistance • events • dynamic object properties (behavior) „ Programmed perception : what is available from the virtual world System Implementation CNTT-ĐHBK Hà nội 27 CNTT-ĐHBK Hà nội 28 Low Level Tools High Level Tools • Keep Track of Primitive Lists • Loading Objects (Geometry, Sounds…) • Scene Graph Construction • Transformation of Vertices • Advanced Camera Models • Drawing of Primitives • Automatic Sensor Handling • Reading Devices on Driver Level • Automatic Collision Detection • Polygon Intersection Testing Examples • C++ Compiler Examples • Simulation Libraries (WorldToolKit, VRT, DIVE, dVise) • C++ Compiler • WorldUp, Superscape • OpenGL, Direct3D CNTT-ĐHBK Hà nội 29 CNTT-ĐHBK Hà nội 30 Khoa CNTT - ĐHBK Hà nội hunglt@it-hut.edu.vn CuuDuongThanCong.com https://fb.com/tailieudientucntt 0913030731 5
  6. Bài 12 Thực tại ảo V. Phần cứng Mô hình chung Generic VR System Head Tracker Receiver Physical Simulation Head-mounted display(HMD) and Animation Head phones Microphone Lights Glove Video Camera Visual Illustration Model Glove tracker Voice 3D Sound receiver Recognition Haptics Processor Head Position Face / Gesture / Objects Motion Analysis Geometry Audio OUTPUT INPUT Host Computer Surface Properties 3D Tracker Dynamic Properties VE Real-time OS Graphics System Hand Position Physical Constrains Processor Acoustic Properties Haptic Tracker Machine VE Transmitter Intelligence Database Collision Detection CNTT-ĐHBK Hà nội 31 CNTT-ĐHBK Hà nội 32 Màn hình và các thiết bị tương tác 3D Input/output Display & interactive Devices Head-mounted display(HMD) Visual Displays (3D imagery) Degree of Freedom (DOF) • Head Mounted Displays (HMD) 6 DOF: translation and rotation of X, Y, Z axes • Projection Displays (CAVE, Virtual Plane) 3D mouse Acoustic Displays (spatial sound) Sonar-based • Multi-Channel Sound Systems 3D Trackball (Space-ball) • Specialized Convolution Processors (e.g. Convolvotron) Pressure sensors Haptic Displays (force feedback) Pushing, pulling, and twisting Joysticks • Robot Arms (e.g. Grope, Phantom) Specific platforms of exploration • Active Joystics (e.g. Microsoft Sidewinder) Gloves • Vibrotactile Devices (e.g. Logitec Cyberman) Finger angle (flexible sensors) Tracking the movement of the hands Sonic or electromagnetic system Postures CNTT-ĐHBK Hà nội 33 CNTT-ĐHBK Hà nội 34 3D Input (Haptic device) 4 categories of haptic devices „ Dials „ 3D array „ Hand position and orientation „ Force-feedback devices „ Hand and body tracking „ forces and torque feedback devices „ LEDs „ tactile devices „ Hi-ball tracker „ devices to produce other stimuli such as heat or cold. „ Puppets „ Eye Tracking „ Gaze sensing „ Laser Scanner CNTT-ĐHBK Hà nội 35 CNTT-ĐHBK Hà nội 36 Khoa CNTT - ĐHBK Hà nội hunglt@it-hut.edu.vn CuuDuongThanCong.com https://fb.com/tailieudientucntt 0913030731 6
  7. Bài 12 Thực tại ảo Sensory Interface Motor Interface CNTT-ĐHBK Hà nội 37 CNTT-ĐHBK Hà nội 38 X. CAVE "CAVE Automatic Virtual Environment”. CAVE - An Immersive VR Environment 1. Introduction (EVL, University of Illinois at Chicago) „ One of the leading VR environments is the CAVE. „ “CAVE” stands for “CAVE Automatic Virtual Environment”. „ Originally a hardware/software combination, the CAVE was developed at the Electronic Visualization Lab at the U. of Illinois, Chicago, in the early 1990’s. „ The software component has since been separated and turned into a commercial product (CAVELIB, sold by VRCO) that runs in any number of VR environments. CNTT-ĐHBK Hà nội 39 CNTT-ĐHBK Hà nội 40 3.CAVE: 2.CAVE Hardware Software „ Standard CAVE hardware consists of: „ Like GLUT, CAVELIB handles program execution „ Any number of walls (screens). via registered callbacks. • The original idea was four: three vertical and a floor. „ GLUT can still be used with CAVELIB, but you never • ARSC has a 1-wall CAVE called an “ImmersaDesk”; we plan to get a 3-or-4 wall CAVE soon. call glutMainLoop, and so GLUT callback registration „ Any number of stereo glasses. does nothing. • One of these is for the driver; it has a tracker on it. „ Thus, the full features of GLUT are not available in „ A wand. CAVE programs. • This is a stick with a tracker on it, along with some buttons and a „ On the other hand, for programmers who are familiar with directional control (“joystick”). GLUT, learning CAVELIB is not hard. • The wand functions like a 3-D mouse. CNTT-ĐHBK Hà nội 41 CNTT-ĐHBK Hà nội 42 Khoa CNTT - ĐHBK Hà nội hunglt@it-hut.edu.vn CuuDuongThanCong.com https://fb.com/tailieudientucntt 0913030731 7
  8. Bài 12 Thực tại ảo CAVE: CAVE: Software [2/3] Software [3/3] „ CAVE programs run as a collection of processes. „ CAVELIB includes facilities for: „ The processes are created and managed by CAVELIB. The „ Determining head position and orientation. programmer does no forking. „ Computing projection matrices for each wall, for each eye. • This is done automatically. „ There is a main process, one process for each wall (and various other • For example, a standard 4-wall CAVE needs 8 projection matrices for each frame processes that the programmer does not need to worry about). of animation (assuming the user has 2 eyes). „ These processes may need to access common data. „ Determining wand position and orientation, as well as the state of the wand • There are facilities for allocating shared memory. buttons and joystick. • Read/write locks are available. „ Managing all the various processes. „ Most of this is handled by CAVELIB, but the programmer needs to „ Allocating shared memory areas. explicitly allocated shared memory and set/clear locks. „ Setting and clearing read/write locks on objects. „ Determining the time. „ Starting up and ending the whole mess. CNTT-ĐHBK Hà nội 43 CNTT-ĐHBK Hà nội 44 Khoa CNTT - ĐHBK Hà nội hunglt@it-hut.edu.vn CuuDuongThanCong.com https://fb.com/tailieudientucntt 0913030731 8
nguon tai.lieu . vn