1、学游戏就上我学院 Unity3D|Cocos|php|HTML5|Java|ios|Android|C#|AS3|UI 设计 |原画设计|动漫美术| 游戏策划VR延迟优化方法VR 中的 ”延迟 ”, 特指”Motion-To-Photon Latency”, 指的是从用户运动开始到相应画面显示到屏幕上所花的时间. 这中间经过了大概这么几个步骤:传感器采集运动输入数据采集到的数据进行过滤并通过线缆传输到主机游戏引擎根据获取的输入数据更新逻辑和渲染视口提交到驱动并由驱动发送到显卡进行渲染把渲染的结果提交到屏幕, 像素进行颜色的切换用户在屏幕上看到相应的画面当然, 实际上还有很多细节问题, 比如屏幕
2、上的像素并不是同一时间切换的, 可学游戏就上我学院 Unity3D|Cocos|php|HTML5|Java|ios|Android|C#|AS3|UI 设计 |原画设计|动漫美术| 游戏策划能面上面的那行先切换, 再一行行更新到最下面的, 在这里就不纠结这些细节了.这其中的每一个步骤都会产生一定的延迟, 而目前公认的大众能接受的延迟是20ms 以下, 这基本上可以做为衡量一个 VR 头显是不是合格的一个标准. 虽然20ms 是非常短的时间, 但通过努力还是可以达到的, 主要有这么几个思路:1、硬件层面的优化提升传感器的采样频率, 减少刷新率与传感器频率的同步等待时间消耗提升传感器的精度, 减
3、少对采样数据进行稳定性过滤产生的延迟采用有线传输也有一部分原因是出于延迟的考虑屏幕使用 OLED 替代 LCD, 减少像素颜色切换的时间提升屏幕刷新率, 主流的屏幕是 60Hz, 那每帧就是 16.67ms; 如果提升到90Hz, 那每帧就是 11.11ms大部分的手机 VR 产品在延迟上都是不合格的, 最明显的表现就是转头时的画面不连续/抖动/残影等:市面上的手机采用 OLED 屏的还是少数, 比如 iPhone 配个 VR 壳子那延迟就很感人如果依赖手机的陀螺仪进行转向模拟, 其精度和频率远远达不到要求手机屏幕目前都是 60Hz 的刷新率, 在延迟上本身就受限学游戏就上我学院 Unity3
4、D|Cocos|php|HTML5|Java|ios|Android|C#|AS3|UI 设计 |原画设计|动漫美术| 游戏策划刷新率的提升假设刷新率为 60Hz, 并不是代表每帧就有 16.67ms 的延迟, 而是说屏幕图像每 16.67ms 才更新一次, 渲染选项中的”垂直同步”的概念就是来源于此. 这就对我们提交渲染画面的时机要求非常高, 如下图: 为了方便计算, 这里先假设传感器, 传输, 屏幕像素切换的延迟都为 0假设我们在每帧开始的时候(上一次垂直同步结束)采样一次传感器数据, 在垂直同步之前完成提交, 那延迟就是 16.67ms如果当前帧无法在 16.67ms 内完成渲染, 比如
5、花了 17ms, 那么就会拖到下一帧进行提交, 屏幕上显示的画面就还是上一次的图像, 这时候的延迟就变成了16.67*2=33.33ms这就对 VR 的渲染提出了非常高的要求:学游戏就上我学院 Unity3D|Cocos|php|HTML5|Java|ios|Android|C#|AS3|UI 设计 |原画设计|动漫美术| 游戏策划FPS 必须达到刷新率的要求, 90Hz 就是 90Hz, 80FPS 是不行的, 会被垂直同步拖累成 45FPSFPS 必须保证稳定, 偶尔掉一两帧在 VR 中的感觉非常明显 , 可能某个物体的位置已经差了几十个像素了以 Oculus Rift(消费版) 为例 ,
6、 1080x1200x2 的屏幕分辨率, 90Hz 的刷新率, 再加上因为变形所需要的 UpSampling, 实际的渲染画面就是3024x168090Hz, 这性能压力几乎与 4k60Hz 相当. 所以, 单纯的提升刷新率和分辨率, 目前来说渲染能力还是跟不上. 不过既然有了性能需求, 硬件厂商才有前进动力, 对整个行业生态来说, 是件好事.2、引擎层面的优化除了拼命优化降低每帧画面的渲染时间外, 引擎层面还可以通过一些策略进行优化, 关键的思路就是: 能不能把采样传感器数据的时间点尽量延后, 让它与垂直同步的时间点尽量靠近?这里我们仍然假设 60Hz, 每帧时间 16.67ms(约 17m
7、s), 忽略硬件延迟 学游戏就上我学院 Unity3D|Cocos|php|HTML5|Java|ios|Android|C#|AS3|UI 设计 |原画设计|动漫美术| 游戏策划如果在游戏逻辑过程中(1ms 时) 采样传感器数据, 那延迟大约就是 16ms 如果在渲染线程进行绘制之前(5ms 时), 重新再采样一下传感器数据, 修正一下视口信息(不会对游戏逻辑产生影响), 那延迟就缩短到了约 12ms 做过渲染优化的人都知道, 提交 D3D Command 后, 需要等待 GPU 执行完毕, 这部分时间在整帧时间中的占比还是相当高的. 那有没有办法在渲染完成之后, 提交到屏幕之前再次采样一次
8、传感器数据呢? 如果像下图那样的话 , 延迟可以缩短到 3ms! 这就是 Timewarp 的主要思想, 我们来看看它是怎么实现的学游戏就上我学院 Unity3D|Cocos|php|HTML5|Java|ios|Android|C#|AS3|UI 设计 |原画设计|动漫美术| 游戏策划Timewarp了解过延迟渲染的人应该都知道, 我们可以利用 ZBuffer 的深度数据, 逆向推导出屏幕上每个像素的世界坐标 这就意味着, 我们可以把所有像素变换到世界空间, 再根据新的摄像机位置, 重新计算每个像素的屏幕坐标, 生成一幅新的图像: 可以看到之前被遮挡区域的像素是缺失的, 因为我们的摄像机位置
9、变化了. 那如学游戏就上我学院 Unity3D|Cocos|php|HTML5|Java|ios|Android|C#|AS3|UI 设计 |原画设计|动漫美术| 游戏策划果摄像机位置不变, 仅仅是朝向变了呢? 这样就不存在像素可见性的变化了 : Timewarp 正是利用了这个特性, 在保证位置不变的情况下 , 把渲染完的画面根据最新获取的传感器朝向信息计算出一帧新的画面, 再提交到显示屏. 由于角度变化非常小, 所以边缘不会出大面积的像素缺失情况. Oculus 的 Demo 中可以停止渲染新的画面, 完全由单帧图像计算出各个朝向学游戏就上我学院 Unity3D|Cocos|php|HTM
10、L5|Java|ios|Android|C#|AS3|UI 设计 |原画设计|动漫美术| 游戏策划的新画面: 学游戏就上我学院 Unity3D|Cocos|php|HTML5|Java|ios|Android|C#|AS3|UI 设计 |原画设计|动漫美术| 游戏策划也就是说, 只要角度变化不是非常大(上图为了演示效果偏转的角度很大了), 可以通过这项技术”凭空渲染”出下一帧的图像, SONY 的 PSVR 正是利用这一点, 把 60FPS 的画面 Reproject 成了 120FPS. Timewarp 只能处理头部转向, 不能处理头部移动的情况 , 而且一旦错过了垂直同步的时机, 一样需
11、要等待下一次垂直同步才能显示出来. 那能不能在每次垂直同步之前, 强制进行一次 Timewarp 呢? 那就需要驱动来开个后门了3、驱动层面的优化假设垂直同步时, 当前帧还没有渲染完毕, 这时如果要进行 Timewarp 的话, 就需要驱动提供一种高优先级的异步调用, 这就是异步 Timewarp 的由来: Timewarp 操作与场景渲染并行执行, 如果没有新的渲染画面 , 就继续使用上一帧的画面进行 Timewarp. 学游戏就上我学院 Unity3D|Cocos|php|HTML5|Java|ios|Android|C#|AS3|UI 设计 |原画设计|动漫美术| 游戏策划这可以在一定程
12、度上补偿 FPS 不达标造成的延迟问题, GearVR 中正是应用了这项技术, 保证了手机 VR 的体验. 当然, PC 上使用项技术还是有一些限制 :必须是 Fermi, Kepler, Maxwell(或更新)核心的 GPUGPU 是以 DrawCall 为单位调度的 , 所以耗时太长的 DrawCall 是插入不了Timewarp 绘制操作的需要最新的 Oculus 和 NVIDIA 驱动支持异步 Timewarp 并不是说 FPS 低于标准还能流畅跑, 这只是一种补救措施, 所以优化仍然要好好做-_-驱动方面还有一些其它的优化空间, 比如强制提交渲染队列: 学游戏就上我学院 Unity
13、3D|Cocos|php|HTML5|Java|ios|Android|C#|AS3|UI 设计 |原画设计|动漫美术| 游戏策划如果驱动中缓存了 3 帧, 那延迟优化就白做了 另外就是大家耳熟能详的 Back Buffer(Double Buffer Rendering), 其实也会增加一点延迟, 不如省掉这一步, 即 Front Buffer Rendering, 或者叫 Direct Mode: 学游戏就上我学院 Unity3D|Cocos|php|HTML5|Java|ios|Android|C#|AS3|UI 设计 |原画设计|动漫美术| 游戏策划参考资料What is Motion
14、-To-Photon Latency? http:/www.chioka.in/what-is-motion-to-photon-latency/Optimizing VR Graphics with Late Latching https:/ Direct: How NVIDIA Technology is Improving the VR Experience http:/ Reality with AMD LiquidVR Technology 学游戏就上我学院 Unity3D|Cocos|php|HTML5|Java|ios|Android|C#|AS3|UI 设计 |原画设计|动漫美术| 游戏策划http:/ from Integrating the Oculus Rift into Unreal Engine 4 http:/ Rift - How Does Time Warping Work? https:/ Timewarp Examinedhttps:/
