Xem mẫu
- Bài 12 Thực tại ảo
I. Virtual Reality
Bài 12 - Hiện thực ảo Khái niệm “virtual” ?
Virtual Reality “Virtual” là 1 trong những từ được lạm dụng trong ngành công nghệ cao
ngày nay và được dùng phổ biến.
“virtual bank”, “virtual heritage”,... ngụ ý đến 1 điều kỳ quái -
monstrosities.
virtual X
với X có thể là bất cứ thứ gì , điều gì. virtual X không phải là X nhưng
có giao diện (hình dáng, hoạt động ...) giống hệt như X
Ví dụ: virtual memory không phải là bộ nhớ nhưng nó làm việc với vi
xử lý đúng như là bộ nhớ.
Tương tự virtual disks, virtual terminals, virtual networks, etc.
CNTT-ĐHBK Hà nộiKhoa CNTT/ĐHBK
Hà nội 1 CNTT-ĐHBK Hà nội 2
Định nghĩa Virtual Reality Lịch sử phát triển
Coates (1992): 1962 : Sensorama (from the movie industry : Morton Heilig)
1970sh : visualisation of virtual world on the screen
Greenbaum (1992):
1970 : First Head Mounted Display : Daniel Vivkers from Utah
University (From a Ivan Sutherland / MIT 's idea)
Theo kinh nghiệm con người:
1982 : Dataglove
(Isdale, 1998) 1980-85 : First VR commercial products 1987 Virtual Cockpit
(British Aerospace) head and hand tracking, eye tracking, 3d
visuals, 3D audio, speech recognition vibro tactile feedback
Các thuật ngữ khác thường dùng: 1990-95 : Popularisation of VR (Film, Books...)
Virtual Worlds, Virtual Environments, Immersive VR, Cyberspace ARMY – spend close to $1000 million 1998 in VRresearch.
...
CNTT-ĐHBK Hà nội 3 CNTT-ĐHBK Hà nội 4
So sánh Virtual Reality và các Kiến trúc hệ thống của Virtual
Media khác Environments
Sống động - Vividness (biểu diễn được
môi trường chính xác)
breadth (visibility, audibility, touch,
smell)
depth (quality, fidelity-chính xác)
Tương tác - Interactivity (cho phép
người dùng có khả năng thay đổi môi
trường )
speed (update rates, time lag)
mapping (text, speech, gestures,
gaze, complex behavior patterns)
CNTT-ĐHBK Hà nội 5 CNTT-ĐHBK Hà nội 6
Khoa CNTT - ĐHBK Hà nội
hunglt@it-hut.edu.vn
CuuDuongThanCong.com https://fb.com/tailieudientucntt
0913030731 1
- Bài 12 Thực tại ảo
Thành phần Kiến trúc Đặc điểm
Đối tượng, thực thể- Objects, entities (cars, buildings, sky, …)
Virtual reality (VR), Phải đảm bảo
Tính chất hình học- Shape, color, texture
Tính chất vật lý – Weight, speed, position, etc…
Người dùng - User
Tương tác với môi trường, có thể được nhìn thấy bằng CAMERA
Có hình thể tham gia vào thế giới ảo (avatar) Trong thực tế để đạt được chấp nhận:
Có thể nghe, nói (Voice recognition)
Có thể di chuyển (gesture recognition)
Đa người dùng - Multi user
Mạng máy tính - Network connection
Mô phỏng - Simulation Hoà nhập - “immersion”.
Điều khiển ứng dụng
Điều khiển hướng sự kiện (tránh va chạm)
Mô phỏng hướng theo tính chất vật lý của đối tượng (act according the objects physical
attributes)
Thế giới, môi trường World
Kết nối tát cả những phần khác nhau vào thành 1 môi trường mà người dùng hoạt
động ở trong đó
CNTT-ĐHBK Hà nội 7 CNTT-ĐHBK Hà nội 8
Đặc điểm Thực tế của Hiện thực ảo Công nghệ trong VR
Một VR thật không tồn tại, làm con người cảm thấy thoải mái Màn hình hiển thị-Visual displays: hiển thị thế giới ảo đến người
khi có các nhầm lẫn, Phải có được đặc điểm sử dụng.
Cảm giác hoà nhập - immersion: Hệ thống theo dõi-Tracking systems: theo dõi vị trí và hướng của
người dùng trong môi trường ảo
Cho phép tương tác với các đối tượng trong cảnh như cách
Hệ thống tính toán-Computation Systems: thực hiện những tính
ngời dùng làm trong thực tế chấp nhận tính xấp xỉ với hạn độ
toán cần thiết để sinh ra không gian ảo
hợp lý.
Thiết bị xúc giác-Haptic devices: cung cấp thao tác và nhận được
Tạo càng nhiều cảm nhận trên các giác quan càng tốt các cảm giác phản hồi từ thế giới thực
Audio systems- phản hồi âm thanh từ thực tại ảo
CNTT-ĐHBK Hà nội 9 CNTT-ĐHBK Hà nội 10
Cảm nhận môi trường ảo
Perceive Perceive ?
The ability to hear; the auditory faculty; SYN. audition, auditory
a) monoscopic cues( cảnh mono)
hearing sound ears,body
sense, sense of hearing, auditory modality. relative size
The ability to see; the faculty of vision; SYN. vision, visual sense,
interposition and occlusion( lỏng lẻo)
sight image eyes perspective distortion( méo)
visual modality.
The faculty of touch; SYN. sense of touch, skin senses, touch lighting and shadows
touch surface / temperature skin
modality, cutaneous senses. texture gradient
smell odour nose
The faculty of smell; SYN. sense of smell, olfaction, olfactory motion parallax ( thị sai chuyển động)
modality.
b) binocular (stereoscopic) cues
The faculty of taste; SYN. gustation, sense of taste, gustatory
taste savour, flavour tongue/nose
modality.
stereo disparity (phân tách)
position, movement,
convergence( hội tụ)
The perception of body position and movement and muscular tension
kinesthesia muscular muscles
etc; SYN: kinaestesia, feeling of movement
tensions
balance, acceleration,
position, location,
The ability to sense the position and location and orientation and
proprioception orientation, ear
movement of the body and its parts.
movement of the
body Anthropocentric User-Diagram
CNTT-ĐHBK Hà nội 11 CNTT-ĐHBK Hà nội 12
Khoa CNTT - ĐHBK Hà nội
hunglt@it-hut.edu.vn
CuuDuongThanCong.com https://fb.com/tailieudientucntt
0913030731 2
- Bài 12 Thực tại ảo
Tái tạo cảm giác
recreate sensation ? Yêu cầu VR
a) monoscopic cues Cảnh-scene: cần được vẽ, sinh ra phụ thuộc vào điểm nhìn của người dùng
realistic rendering / lighting simulation
Vị trí của mắt cần xác định, thiết bị theo dõi xác định hướng và vị trí của đầu và mắt.
b) stereoscopic cues -> stereodisparity presentation of Theo đó Phần mềm cần hiệu chỉnh ma trận chiếu phù hợp để có kết quả..
appropriate view to each eye Cảnh hiển thị 3-D .
stereo vision: Hình ảnh nhận được sử dụng sự khác biệt We perceive 3-D primarily
- time multiplexing of images using the difference between the images received by the two eyes -.
- multiplexing with chromatic filters (anaglyph) perceive 3-D is by focus: the lens in the eye focuses light differently for near vs.
- multiplexing with polarizer filters far objects.
The user needs to be able to affect the scene somehow.
- providing two views simultaneously
Tracking capability (to determine head/eye placement), the user a hand-held
Color Encoded Stereo Image Pair object with a tracker on it.
User’s motions directly, either through placement of tracking devices on the
user’s clothes, or by giving the computer several video feeds of the user.
CNTT-ĐHBK Hà nội 13 CNTT-ĐHBK Hà nội 14
An Immersive Car Simulator
Science
Ứng dụng
– Computational Neuroscience Using HMD(© British Aerospace)
– Molecular modeling
Engineering – Phobias ~ Virtual Therapy
Aero Engine design – Telepresence
Submarine design – Ultrasound Echolography
Architecture
Human factors modeling
Training
– High-risk work
Industrial concept design
Telecoms engineering
– Flight simulation
Entertainment
– Medicine
Computer animator
– Military training
Television
– Nuclear industry
Game system
– Accident simulation (Airline,
car collision testing)
CNTT-ĐHBK Hà nội 15 CNTT-ĐHBK Hà nội 16
A BOOM Display Application in Phân loại VR- Desktop VR
Aerodynamics
(© NASA Ames Research Center)
Desktop VR
Non-immersive: chuột 3d, window system
3D world hiển thị tren màn hình, chuột và bàn phím là đầu vào tương tác.
Giá thấp, dùng cả với PC thông dụng.
VRML, Games
Window on a World (WoW)
Một số hệ thống sử dụng một màn hình truyền thống để hiển thị thế giới trực
quan (visual world).
Người ta phải xem màn hình hiển thị như là một cửa sổ mà qua cửa sổ đó
người ta có thể thấy một thế giới ảo.
Thách thức đối với lĩnh vực đồ hoạ máy tính là làm cho hình ảnh trong cửa sổ
đó trông giống như thật, âm thanh nghe giống thật và các đối tượng hành
động giống thật.
“One must look at a display screen as a window through which one beholds a
virtual world. The challenge to computer graphics is to make the picture in
the window look real, sound real and the objects act real” [quoted from
Computer Graphics V26#3].
CNTT-ĐHBK Hà nội 17 CNTT-ĐHBK Hà nội 18
Khoa CNTT - ĐHBK Hà nội
hunglt@it-hut.edu.vn
CuuDuongThanCong.com https://fb.com/tailieudientucntt
0913030731 3
- Bài 12 Thực tại ảo
Thế giới thực bổ xung-
Ánh xạ Video (Video Mapping) Augmented Reality
Đây là một biến thể của cách tiếp cận theo kiểu WoW. Tiếp cận theo kiểu này Sự kết hợp giữa đồ hoạ và thế giới thực tạo thành 1 hệ thống
sẽ kết hợp một đoạn video hình ảnh người sử dụng với đồ hoạ 2D. Người sử
dụng sẽ thấy một màn hình hiển thị tương tác của hình anh ta với máy tính. chung phục vụ cho việc nhìn nhận và đánh giá thế giới thực.
DVR hệ thống đơn giản sử dụng các thiết bị tương tác thông thường như :
Kết hợp Telepresence và các hệ thống thực tại ảo cho ta một
chuột 3d, window system. Thế giới 3D được hiển thị trên màn hình, chuột và thực tại hỗn hợp(Mixed Reality) hay các hệ thống mô phỏng
bàn phím là đầu vào tương tác. liền mạch (Seamless Simulation systems).
Ưu điểm của hệ thống và các ứng dụng loại nay là chi phí và giá cả thấp, có Ở đây, các dữ liệu vào sinh sinh ra bởi máy tính sẽ được hợp
thể dùng được cả với PC thông dụng và các thiết bị thông dụng khác. nhất (kết hợp) với các dữ liệu vào telepresence và/hoặc quan
Phù hợp với việc phát triển những ứng dụng đại trà và các sản phẩm cấp thấp điểm (cách nhìn) về thế giới thực của người sử dụng.
không cần đến đội chính xác tuyệt đối.
CNTT-ĐHBK Hà nội 19 CNTT-ĐHBK Hà nội 20
Xuất hiện - Presence Telepresence
Telepresence : Là thuật ngữ mô tả việc sử dụng các công nghệ khác nhau gây
hiệu ứng đặt ngưòi dùng tại một vị trí khác.
Xuất hiện ảo-Virtual presence Telepresence là một cách mường tượng, hình dung các thế giới được sinh ra
hoàn toàn trong máy tính. Đây là một kỹ thuật kết nối các cảm biến từ xa
... Is experienced by a person when sensory information generated only by and within a trong thế giới thực với cảm giác của người điều khiển. Các cảm biến từ xa
computer compels a feeling of being present in an environment other than the one the
person is actually in” (Sheridan, 1992, pg.6) này có thể được định vị trên một robot, giống như là các công cụ.
Presence: là cảm nhận tâm lý xuất hiện ở một môi trường dựa vào công nghệ hình
Lính cứu hoả sử dụng các phương tiện điều khiển từ xa để xử lý những trường
hợp nguy hiểm. Các bác sĩ giải phẫu sử dụng các thiết bị vô cùng nhỏ trên
thành theo kiểu hoà nhập - immersive. những dây cáp để thực hiện ca phẫu thuật mà không cần rạch ra một lỗ lớn
Trên thực tế hệ thống hoạt động theo kiêu này không cần thiết áp dụng cho tất cả mọi trên cơ thể bệnh nhân. Các thiết bị này có một video camera nhỏ ở đầu làm
người mà chỉ cho một vài người có vai trò nhất định trong cộng đồng. việc (business end).
Việc tích hợp giữa immersive và presence luôn là bài toán khó cho công nghệ . Một Các robot được trang bị các hệ thống telepresence này đã thay đổi cách thức
ứng dụng của Presence là: Telepresence và teleoperate thực hiện các cuộc thí nghiệm về biển sâu hoặc núi lửa. Kỹ thuật này ngoài ra
còn được áp dụng trong các cuộc nghiên cứu vũ trụ...
CNTT-ĐHBK Hà nội 21 CNTT-ĐHBK Hà nội 22
II. Immersion( hoà nhập) Kỹ thuật sinh immersive
Tạo ra cảm giác hoà nhập giữa người dùng và môi trường, hình ảnh quan Head-Mounted Display: Put the screen right in front of the
sát là hình ảnh người sử dụng nhìn được bao gồm cả không gian và user’s eyes. Include a lens, for comfortable focusing.
phương hướng. Advantage: It is easy to give the eyes different views.
Phần hình ảnh người dùng quan sát được chỉ là 1 phần rất nhỏ so với Disadvantage: Need separate screen for each user.
không gian hiển thị BIG Disadvantage: When the user’s head moves, there is noticeable lag
Thông thường công nghệ cho hiển thị đóng vai trò quan trọng và các cảm before the image updates. (Faster computers should fix this problem.)
nhận khác cũng được kiểm tra. Large-Screen Display: Use a very large screen or group of
Hệ thống thực tại ảo - VR systems sẽ tạo cho người dùng là một phần của screens that fill the user’s vision.
thế giới ảo đang được mô phỏng chứ không đơn thuần môi trường ảo đang Advantage: Image-update lag is not as much of a problem. (Why not?)
mô phỏng là 1 góc của thế giới thực mà người dùng hiện hữu. Advantage: Multiple users can view a single screen (but only one gets a
precisely correct view).
Hệ thống immersive VR đầu tiên là hệ thống mô phỏng lái máy bay mà ở BIG Disadvantage: The setup is incredibly expensive.
đó sự hoà nhập là sự kết hợp tinh xảo giữa các thiết bị thật và các hình ảnh
Challenge: How to give the eyes different views?
ảo. Buồng lái thật với các thiết bị thực tế cho phép phi công sử dụng như 1
chuyến bay bình thường. Hình ảnh hiển thị là những cảnh ảo được chuẩn
bị sẵn. CNTT-ĐHBK Hà nội 23 CNTT-ĐHBK Hà nội 24
Khoa CNTT - ĐHBK Hà nội
hunglt@it-hut.edu.vn
CuuDuongThanCong.com https://fb.com/tailieudientucntt
0913030731 4
- Bài 12 Thực tại ảo
Hoà nhập mức độ thấp
Phân loại First Level of Immersion /
Immersive - Virtual Environments Interactivity Low level, Physical level
1. Immersive Virtual Environments- môi trường ảo hoà nhập Because the computer is physically connected to the human
• các đối tượng tương tác quan sát được và độc lập hoàn toàn với thế giới thật body by its senses and its motor responses.
• Cảnh ảo phản ứng lại các hành động tương tác của đối tượng. The physical devices, Which interface to use ?
• các đối tượng không thể tác động lên môi trường thật
You have to know that not only Sight interface exist (HMD...),
2. Semi-Immersive Virtual Environments-môi trường ảo bán hoà nhập
but lots of other,l you should have an idea of all the others
• các đối tượng có thể tác động lên cả môi trường thật và ảo
• vai trò của các đối tượng trong môi trường ảo lớn hơn nhiều so với môi trường What Hardware (interface, computer) ?
thật What Software (Driver, Toolkit, Programming Language...) ?
• tác động nên môi trường thực là rất hạn chế
3. Non-Immersive Virtual Environments – VR thông thường
• các cảnh 3D như là 1 phần của thế giới thật (môi trường vật lý)
• các đối tượng đáp lại hoàn toàn trong thế giới thật
• Tồn tại rất ít quan hệ với môi trường ảo - VE
CNTT-ĐHBK Hà nội 25 CNTT-ĐHBK Hà nội 26
Các bước thiết kế
Second Level : Mental Immersion / Interactivity of the user
Triadic diagram for the behavioral interfacing VR Environments
Desired Behavior... where are the Content
shemas... • story writing
Effective motor function : what the • scenario setup
user will do : Schema, Schema by • semantics
substitution or Metaphore Objects
Effective perception : as natural as • geometry and static attributes (color etc…)
possible, with as many senses as • textures
possible, and as weel synchorised • sound
(cohering) as possible Dynamics
programmed motor function : • object relationships
Behavorial Software Assistance • events
• dynamic object properties (behavior)
Programmed perception : what is
available from the virtual world System Implementation
CNTT-ĐHBK Hà nội 27 CNTT-ĐHBK Hà nội 28
Low Level Tools High Level Tools
• Keep Track of Primitive Lists • Loading Objects (Geometry, Sounds…)
• Scene Graph Construction
• Transformation of Vertices
• Advanced Camera Models
• Drawing of Primitives • Automatic Sensor Handling
• Reading Devices on Driver Level • Automatic Collision Detection
• Polygon Intersection Testing Examples
• C++ Compiler
Examples • Simulation Libraries (WorldToolKit, VRT, DIVE, dVise)
• C++ Compiler • WorldUp, Superscape
• OpenGL, Direct3D
CNTT-ĐHBK Hà nội 29 CNTT-ĐHBK Hà nội 30
Khoa CNTT - ĐHBK Hà nội
hunglt@it-hut.edu.vn
CuuDuongThanCong.com https://fb.com/tailieudientucntt
0913030731 5
- Bài 12 Thực tại ảo
V. Phần cứng Mô hình chung Generic VR System
Head Tracker Receiver
Physical Simulation Head-mounted display(HMD)
and Animation Head phones
Microphone
Lights Glove Video Camera
Visual
Illustration Model Glove tracker Voice 3D Sound
receiver Recognition Haptics Processor
Head Position Face / Gesture /
Objects Motion Analysis
Geometry Audio OUTPUT
INPUT Host Computer
Surface Properties
3D Tracker
Dynamic Properties VE Real-time OS Graphics
System
Hand Position Physical Constrains Processor
Acoustic Properties Haptic
Tracker Machine VE
Transmitter Intelligence Database
Collision Detection
CNTT-ĐHBK Hà nội 31 CNTT-ĐHBK Hà nội 32
Màn hình và các thiết bị tương tác 3D Input/output
Display & interactive Devices Head-mounted display(HMD)
Visual Displays (3D imagery) Degree of Freedom (DOF)
• Head Mounted Displays (HMD) 6 DOF: translation and rotation of X, Y, Z
axes
• Projection Displays (CAVE, Virtual Plane)
3D mouse
Acoustic Displays (spatial sound) Sonar-based
• Multi-Channel Sound Systems 3D Trackball (Space-ball)
• Specialized Convolution Processors (e.g. Convolvotron) Pressure sensors
Haptic Displays (force feedback) Pushing, pulling, and twisting
Joysticks
• Robot Arms (e.g. Grope, Phantom)
Specific platforms of exploration
• Active Joystics (e.g. Microsoft Sidewinder)
Gloves
• Vibrotactile Devices (e.g. Logitec Cyberman)
Finger angle (flexible sensors)
Tracking the movement of the hands
Sonic or electromagnetic system
Postures
CNTT-ĐHBK Hà nội 33 CNTT-ĐHBK Hà nội 34
3D Input (Haptic device) 4 categories of haptic devices
Dials
3D array
Hand position and orientation
Force-feedback devices
Hand and body tracking
forces and torque feedback devices
LEDs tactile devices
Hi-ball tracker devices to produce other stimuli such as heat or cold.
Puppets
Eye Tracking
Gaze sensing
Laser Scanner
CNTT-ĐHBK Hà nội 35 CNTT-ĐHBK Hà nội 36
Khoa CNTT - ĐHBK Hà nội
hunglt@it-hut.edu.vn
CuuDuongThanCong.com https://fb.com/tailieudientucntt
0913030731 6
- Bài 12 Thực tại ảo
Sensory Interface Motor Interface
CNTT-ĐHBK Hà nội 37 CNTT-ĐHBK Hà nội 38
X. CAVE
"CAVE Automatic Virtual Environment”. CAVE - An Immersive VR Environment
1. Introduction (EVL, University of Illinois at Chicago)
One of the leading VR environments is the CAVE.
“CAVE” stands for “CAVE Automatic Virtual Environment”.
Originally a hardware/software combination, the CAVE was developed
at the Electronic Visualization Lab at the U. of Illinois, Chicago, in the
early 1990’s.
The software component has since been separated and turned into a
commercial product (CAVELIB, sold by VRCO) that runs in any number
of VR environments.
CNTT-ĐHBK Hà nội 39 CNTT-ĐHBK Hà nội 40
3.CAVE:
2.CAVE Hardware Software
Standard CAVE hardware consists of: Like GLUT, CAVELIB handles program execution
Any number of walls (screens). via registered callbacks.
• The original idea was four: three vertical and a floor.
GLUT can still be used with CAVELIB, but you never
• ARSC has a 1-wall CAVE called an “ImmersaDesk”; we plan to
get a 3-or-4 wall CAVE soon. call glutMainLoop, and so GLUT callback registration
Any number of stereo glasses. does nothing.
• One of these is for the driver; it has a tracker on it. Thus, the full features of GLUT are not available in
A wand. CAVE programs.
• This is a stick with a tracker on it, along with some buttons and a On the other hand, for programmers who are familiar with
directional control (“joystick”).
GLUT, learning CAVELIB is not hard.
• The wand functions like a 3-D mouse.
CNTT-ĐHBK Hà nội 41 CNTT-ĐHBK Hà nội 42
Khoa CNTT - ĐHBK Hà nội
hunglt@it-hut.edu.vn
CuuDuongThanCong.com https://fb.com/tailieudientucntt
0913030731 7
- Bài 12 Thực tại ảo
CAVE: CAVE:
Software [2/3] Software [3/3]
CAVE programs run as a collection of processes. CAVELIB includes facilities for:
The processes are created and managed by CAVELIB. The Determining head position and orientation.
programmer does no forking. Computing projection matrices for each wall, for each eye.
• This is done automatically.
There is a main process, one process for each wall (and various other
• For example, a standard 4-wall CAVE needs 8 projection matrices for each frame
processes that the programmer does not need to worry about). of animation (assuming the user has 2 eyes).
These processes may need to access common data. Determining wand position and orientation, as well as the state of the wand
• There are facilities for allocating shared memory. buttons and joystick.
• Read/write locks are available. Managing all the various processes.
Most of this is handled by CAVELIB, but the programmer needs to Allocating shared memory areas.
explicitly allocated shared memory and set/clear locks. Setting and clearing read/write locks on objects.
Determining the time.
Starting up and ending the whole mess.
CNTT-ĐHBK Hà nội 43 CNTT-ĐHBK Hà nội 44
Khoa CNTT - ĐHBK Hà nội
hunglt@it-hut.edu.vn
CuuDuongThanCong.com https://fb.com/tailieudientucntt
0913030731 8
nguon tai.lieu . vn