1.1 定义#

VR 是一种人机交互界面，包含以下特点：

• 实时模拟 (Real-time simulation)
• 通过交互 (Interactions)
• 使用多种感官通道 (Multiple sensorial channels)

这些感官通道可能包括视觉 (visual)、听觉 (auditory)、触觉 (tactile)、嗅觉 (smell) 和味觉 (taste)。

1.2 VR四个层级#

1. 被动型 (Passive):

   • 用户几乎没有控制权，例如观看电影或阅读书籍。
   • 无法修改内容。

2. 探索型 (Exploratory):

   • 用户可以通过移动探索虚拟世界。
   • 无法修改内容。

3. 交互型 (Interactive):

   • 用户可以在虚拟世界中探索并互动，例如：
     • 伸手抓取虚拟书籍。
     • 移动虚拟房间中的家具。

4. 协作型 (Collaborative) (Most difficult to achieve) :

   • 多个用户可以彼此互动，共同完成虚拟世界中的某些目标。

注意：VR主要关注第2、3和4层次。

1.3 VR主要特点#

• VR 允许用户在实时模拟环境 (real-time simulated environment) 中进行交互（如同真实生活中的互动）。
• 交互通过多种感官进行。

1.4 VR设备#

为了支持多感官交互，需要使用不同类型的接口设备：

• 输入设备 (Input devices): 人到电脑
• 输出设备 (Output devices): 电脑到人
• 有些设备可能同时包含输入和输出功能的设备

2.1 概述#

HCI 的重点在于：

• 捕获用户的交互指令 (输入 input)。
• 让计算机分析这些指令并生成反馈给用户的反应 (输出 output)。

人类通常通过多种感官彼此互动。目标是在人机交互中支持类似的互动方式。

2.2 视觉 Visual#

视觉在人类互动中起着至关重要的作用：

• 增强现实感 (Enhanced Realism)： 研究提高了计算机图像合成的现实感和渲染速度，使计算机能够向用户呈现更加真实和互动的虚拟世界。

• 理解用户行为 (Understanding User Behavior)： 研究还增强了计算机视觉技术，用于解读用户的世界。然而，由于视觉理解的复杂性，这仍然是一个挑战。

2.3 声音 Auditory#

• 音频为人类提供了一种直接交换想法的方法。
• 它帮助个体感知周围环境，例如检测接近的汽车及其大致距离。
• 对于计算机来说，生成声音比识别声音更容易。
• 深度学习的最新进展显著提高了音频识别的性能。

2.4 手势 Gesture#

• 手势传递了大量信息。
• 可以通过3D图像轻松呈现手势。
• 各种电子手套可用于捕获人类手部动作。

2.5 其他感官#

• 嗅觉 (Smell)：
  • 产生气味相对简单，但一旦产生后清除气味则很困难。
  • 有些气味容易检测，而另一些则较难。
  • 嗅觉集成在当前的虚拟现实应用中很少被考虑。
• 触觉感知 (Tactile Sensing)：
  • 触觉感知涉及检测和施加力。
  • 压力传感器 (Pressure sensors) 可检测用户施加的力并作为计算机的输入。
  • 机械或液压设备 (Mechanical or hydraulic devices) 可为用户生成物理力输出。
  • 然而，这种设备通常是侵入式的，因为即使在未使用时用户也能感受到它的存在。

1.1 自由度 (Degrees of Freedom, DOFs)#

自由度表示需要跟踪的独立运动（或测量）数量。

不同 DOFs 设备的示例：

• 2 DOFs（例如，二维鼠标）

• 3 DOFs（例如，用于跟踪位置的加速度计或用于跟踪方向的陀螺仪）

  • 只跟踪旋转（绕X、Y、Z轴的转动），能测量头部或设备的朝向，但不能测量位置变化
  • row, pitch, yaw

• 6 DOFs（例如，大多数手机同时使用加速度计和陀螺仪）

  • 同时跟踪位置和平移（X、Y、Z轴的移动）和旋转（绕X、Y、Z轴的转动），能全面反映设备或人体部位在空间中的位置和姿态变化。
  • row, pitch, yaw, x, y, z

1.2 坐标矩阵 (Coordinate Matrix)#

给定一个 3D 点，我们可以通过以下公式确定其在图像空间中的位置

其中$\textbf{v}_{3D}$是输入的 3D 点， $\textbf{M}_{world}$ 是 3D 点的模型矩阵，$\textbf{M}_{view}$ 是视图矩阵，$\textbf{M}_{proj}$ 是投影矩阵。

• $\textbf{M}_{world}$：模型矩阵，用于将模型局部坐标系中的 3D 点转换到世界坐标系（或参考坐标系）。
• $\textbf{M}_{view}$：视图矩阵，用于将世界坐标系中的 3D 点转换到视图坐标系（即用户的视角）。
• $\textbf{M}_{proj}$：投影矩阵，用于将视图坐标系中的 3D 点投影到 2D 图像上的点。

1.3 跟踪器位置和方向#

假设我们希望跟踪用户的视点位置，我们可以将跟踪器附加到用户的头部。

我们可以确定视图矩阵（即跟踪器相对于世界/参考坐标系的位置和方向），其公式如下：

为了确定跟踪器的位置，我们使用平移矩阵表示传感器相对于参考坐标系的距离。

该平移矩阵可以表示为 T(-eye)，其中 eye 指的是眼点的 3D 位置。

为了确定跟踪器的方向，我们使用旋转矩阵相对于参考坐标系表示其方向。 该旋转矩阵为：

1.4 跟踪器精度#

跟踪器性能通常使用 精度 (Accuracy)、抖动 (Jitter)、漂移 (Drift)、延迟 (Latency) 来衡量。

1. 精度

   

   指对象的实际位置与跟踪器测量结果的相似程度。

   精度通常不是固定值，并且随着到参考坐标系原点距离的增加而降低。

   可接受精度的距离定义了跟踪器的 工作范围 (operating range)。

2. 抖动

   

   是指即使跟踪对象保持静止，跟踪器输出也会发生的变化。

   这些变化通常是随机的，并围绕真实值波动。

   抖动的程度可能在跟踪器工作范围内有所不同，并受到环境条件的影响。

3. 漂移

   

   是指随着时间推移，由于误差积累等因素导致的不准确性增加。

   可能需要通过辅助跟踪器定期重置误差。

4. 延迟

   

   是指从动作发生到接收到信号之间的时间延误。

   对于 3D 跟踪器，延迟指对象位置或方向发生变化与跟踪器输出之间的时间间隔。

   动作和视觉反馈之间的长时间延迟会导致 模拟病 (simulation sickness)，如头痛、恶心和眩晕。

   • 减少延迟的可能方法
     • 使用更快的通信路线
     • 减少每一步的处理延迟
     • 同步跟踪器的测量、通信、渲染和显示循环，这有助于降低整个系统的更新频率。
   • 

1.5 跟踪器更新率#

• 跟踪器每秒报告的测量次数，通常超过 30 次。
• 更新率越高，模拟的动态响应越好。
• 如果单个跟踪系统需要支持更多跟踪器（即传感器）来跟踪多个物体或身体部位，则采样率可能需要相应减少。

2.5 惯性传感器#

有3种惯性传感器：

• 陀螺仪 (Gyroscope): 测量角速度 (angular velocity)，单位为每秒度数。
• 加速度计 (Accelerometer): 测量线性加速度 (linear acceleration)，单位为米每平方秒 (m/s²)。
• 磁力计 (Magnetometer): 测量磁场强度 (magnetic field)，单位为微特斯拉 (μT)。

1.1 视网膜 (Retina)#

• 视网膜包含126百万个光感受器
  • 分布不均
• 中央凹 (Fovea)
  • 视网膜的中央区域
  • 高分辨率、颜色感知区域
  • 表示聚焦区域
• 低分辨率、运动感知光感受器
  • 覆盖其余视野

1.4 深度感知 (Depth Perception)#

• 近距离物体的深度线索
  • 会聚 (Convergence)：双眼旋转聚焦于物体
  • 调节 (Accommodation)：睫状肌调整以聚焦 (Adjustment of ciliary muscles to focus)。
  • 视差 (Disparity)：物体在两眼中的位置差异
  • 视差效应 (Parallax)：头部水平移动时，近物体移动更多
• 远距离物体的深度线索
  • 遮挡 (Occlusion)：近物体遮挡远物体
  • 透视 (Perspective)：远物体看起来更小 (Distant objects appear smaller)。
  • 雾化 (Haze)：远物体显得更灰
  • 表面纹理 (Surface texture)：类似透视效果

6.1 人类听觉系统 (Human Auditory System)#

• 耳廓 (Pinna):
  • 反射声音并放大某些频率，同时衰减其他频率
  • 提供方向信息
• 耳道 (Ear Canal):
  • 放大 3-12$\text{kHz}$ 范围内的声音
• 中耳 (Middle Ear):
  • 由精细的骨骼组成，放大鼓膜的声音压力
• 内耳 (Inner Ear):
  • 将声音压力转换为脑信号
• 人类听觉范围 (Hearing Range):
  • $20 \text{Hz}$ 到 $20 \text{kHz}$
  • 对 3-4 $\text{kHz}$ 的声音最敏感

7.1 声音定位 (Sound Localization)#

人类通过以下线索确定声音来源的三维位置

7.2 头相关传递函数 (Head-Related Transfer Function, HRTF)#

• 定义 (Definition): 头相关传递函数 (HRTF) 是声音从声源传播到耳朵的传递函数的傅里叶变换

• 个性化 (Individuality): 每个人的 HRTF 都是独一无二的，因为耳廓和躯干的几何形状不同 (Each person has a unique HRTF due to differences in outer ear and torso geometry)。

• 公式 (Formula):

  $Y_i=H_i⊗S$

  其中：

  • $H_i$ 是用户 $i$ 的 HRTF
  • $S$ 是输入声音源
  • $⊗$ 是卷积操作符

• 卷积 (Convolution):

  • 将 HRTF 应用于输入声音并通过耳机播放，用户会感知声音来自原始声源位置

【生物结构只考关键部位】

• 眼睛结构

  • Retina (视网膜)：是眼睛内部感光的关键组织，主要功能是：
    • 接收光信号：视网膜位于眼球后部，负责接收进入眼睛的光线。
    • 感光细胞转换：视网膜内有两种主要感光细胞——杆细胞和锥细胞。杆细胞对光的强弱敏感，负责夜间及弱光视觉；锥细胞负责颜色和细节识别。
    • 图像处理：感光细胞把光信号转变成电信号，并初步进行信号处理，提取边缘、对比度等视觉信息。
    • 传递信息：这些电信号通过视神经传到大脑视觉皮层，产生视觉感知。

• 耳朵结构 (期中考了)

  • Cochlea（耳蜗）：是内耳中的一个关键结构，主要作用是将声音的机械振动转换成神经信号，从而实现声音的感知。它的功能和过程如下：
    • 作用原理：声音波通过外耳道传入中耳，引起鼓膜振动，经过听骨链传递至耳蜗内的液体介质，产生波动。
    • 信号转化：耳蜗内有成千上万的毛细胞，这些细胞对不同频率的声波产生相应的机械反应，毛细胞的运动被转化为电信号。
    • 频率分析：耳蜗结构呈现梯度刚度，不同部位的毛细胞对不同频率的声音具有最大响应，完成频率的分解和分析。
    • 传输信号：电信号通过听神经传递到大脑听觉皮层，实现对声音的识别和解码。

• 皮肤触觉传感器 (not so important):

  • 表层感受器 (Surface Receptors):
    • 迈斯纳小体 (Meissner Corpuscles): 快速适应，检测高频刺激
    • 梅克尔盘 (Merkel Disks): 慢速适应，检测低频刺激
  • 深层感受器 (Deep Receptors):
    • 帕齐尼小体 (Pacinian Corpuscles): 快速适应，检测接触力的变化
    • 鲁菲尼小体 (Ruffini Corpuscles): 慢速适应，检测静态力
  • Slow-Adapting Sensors - Merkel and Ruffini
  • Fast-Adapting Sensors - Mesissner and Pacininan

8.2 触觉反馈接口 (Tactile Feedback Interfaces)#

• 触觉鼠标 (Tactile Mouse):
  • 通过振动提供触觉反馈
  • 示例：Logitech 的 iFeel Mouse
    • Has an additional electrical actuator that can vibrate the outer shell of the mouse
• 触觉手套 (Tactile Gloves):
  • CyberTouch 手套:
    • 配备 6 个振动触觉执行器
  • 温度反馈手套 (Temperature Feedback Gloves):
    • 通过热电泵模拟物体的热特性

1.1 任务#

1. 读取输入设备（传感器）数据
2. 更新虚拟世界的状态
3. 渲染输出（图形、触觉等）
4. 将输出传递到输出设备

1.2 VR引擎架构要求#

• 低延迟 (Low latency)
• 快速图形渲染 (Fast graphics rendering)
• 触觉渲染 (Haptics rendering)

2.1 应用阶段 (Application Stage)#

• 由CPU执行 (Executed by the CPU)
• 任务
  1. 获取用户输入（如鼠标、追踪器、感应手套）
  2. 更新虚拟世界的视图、数据库和状态
  3. 选择相关的几何对象并发送到后续阶段进行渲染

2.2 几何阶段 (Geometry Stage)#

• 由GPU硬件实现
• 任务
  1. 模型变换 (Model transformations)
  2. 着色计算 (Shading computations)
  3. 场景投影 (Scene projection)
  4. 裁剪 (Clipping)

2.3 光栅化阶段 (Rasterizer Stage)#

• 任务

  1. 将几何图元（如三角形）分解为像素片段

  2. 抗锯齿 (Anti-aliasing):

     

     • 每个像素分为$n$个子像素
     • 计算每个子像素的颜色，最终颜色为子像素颜色的平均值

  3. 纹理映射 (Texture Mapping): 将纹理图像映射到几何表面

     

3.1 碰撞检测阶段 (Collision Detection Stage)#

• 加载物体的物理特性
• 检测用户与物体之间的碰撞

3.2 力计算阶段 (Force Computation Stage)#

• 计算碰撞力 (Compute collision forces):
  • 基于物理模拟模型
• 力平滑 (Force smoothing): 调整力向量方向以避免突然变化
• 力映射 (Force mapping): 将计算得出的力映射到特定触觉设备的特征

3.3 触觉计算阶段 (Tactile Computation Stage)#

• 触觉纹理渲染 (Haptic Texturing):
  • 计算触觉效果（如振动或表面温度）并发送到触觉显示设备

期末要求掌握：what the 2 pipeline do.

5.1 单用户系统 (Single-User Systems)#

• 使用多个并排显示器
  • 用于桌面虚拟现实工作站或大型体积显示器（如 CAVE 或“墙”）。
  • 一种解决方案是为每个投影仪使用一台配备图形加速器的独立计算机。
  • 另一种解决方案是只使用一台计算机，配备多个图形加速器卡（每个监视器一张）。
• 使用多个局域网连接的计算机

5.2 多用户系统 (Multi-User Systems)#

• 架构类型 :
  • 客户端-服务器系统 (Client-server systems)
  • 点对点系统 (Peer-to-peer systems)
  • 混合系统

3.1 网络延迟的影响 (Impact of Network Latency)#

• DVEs 强调实时交互，网络延迟 (Latency) 对其影响很大。
• 示例延迟时间：
  • 本地局域网 (LAN)：0.64 ms
  • 区域互联网 (本地连接)：10 ms
  • 海外互联网 (美国-香港)：160 ms
  • 海外互联网 (英国-香港)：203 ms

3.2 分布式系统事件类型#

• 离散事件 (discrete events)：事件发生间隔时间远大于网络延迟，几乎不受网络延迟影响。（如 ATM 操作）
• 连续事件 (continuous)：事件发生间隔小于网络延迟，网络延迟会显著影响体验。（如 3D 游戏交互）

3.3 场景示例：同步问题#

1. 用户 A 在时间 $t$ 看到对象位于位置 $p$。
2. 用户 A 将对象移动到位置 $p_A$，并立即发送一条更新消息通知用户 B。
3. 假设网络延迟为 0.2 秒，用户 B 在 $t+0.2$ 才知道对象被移动到 $p_A$ 。
4. 假设用户 B 在时间 $t+0.1$ 希望将对象从位置 $p$ 移动到位置 $p_B$。
5. 由于 B 的机器并不知道对象本应该位于 $p_A$ ，因此 B 成功地将对象从 $p$ 移动到 $p_B$ 。
6. B 马上发送更新信息给 A 表明这个改变。

3.5 死算 (Dead Reckoning)#

• 死算是连续事件同步的一种流行方法。
• 操作方式：
  • 发送节点和接收节点使用相同的运动预测模型 (motion predictor)。它根据最后一次更新消息中的数据推测运动对象的位置。该更新消息存储了对象的最后位置以及速度/加速度的信息。
  • 当误差超过允许阈值 (threshold) 时，发送更新消息；否则省略更新消息以节省带宽 (save bandwidth)。

4.1 多项式预测器 (Polynomial Predictors)#

• 一阶多项式 (FOP)

  $P_{\text{new}} = p + v \cdot t$

• 二阶多项式 (SOP)

  $P_{\text{new}} = p + v \cdot t + \frac{1}{2}a \cdot t^2$

  其中：

  • $p$：最后一次更新的位置。
  • $p_{new}$：预测的位置。
  • $v$：运动速度。
  • $t$：预测时间（延迟）。
  • $a$：运动加速度。

• 多项式预测器通常与死算 (Dead Reckoning) 方法结合使用，用于运动预测。

• 优点：非常简单，计算开销很小。

• 局限性：它们并不是非常精确的预测工具。它们假定速度 $v$ 和加速度 $a$ 是已知的，并且在预测期间它们保持不变。

• 估算速度 $v$ ：需要收集对象的两个之前的位置。

  $v=\frac{p(t)−p(t−1)}{Δt}$

• 估算加速度 $a$ ：需要收集对象的三个之前的位置。

  $a=\frac{p(t)−2p(t−1)+p(t−2)}{Δt^2}$

• 基于这些对象的历史位置，可以求得 $v$ 和 $a$ 。然后将这些信息代入预测器，计算预测的位置。

• 然而，还需要知道网络延迟（即 $t$ 的值）。网络延迟值并非恒定，它会随着网络流量的变化而动态变化。