1、探究虚拟现实的优化技术分析 突破边界 让虚拟与现实真假难辨 李晨光 蜗牛云计算 直播内容制作 门槛偏低 临场感欠缺 内容多样性得 不到充分展现 互动性单一影视传媒 新媒体直播，让观 众更生动地对实时 事件进行立体式窥 探，感受更深入 全景电影拍摄，改 变传统以导演镜头 切换为主导的叙述 模式，自定义用户 行为 在线教育 远程教育课堂，改 变传统的单一授课 模式，身临其境设 身处地感受课堂 临场行业培训，为 无法满足实地考察 的行业用户，提供 模拟的实地教学 游戏互动 竞技游戏比赛，更 加传神地以上帝视 角窥探玩家世界， 高自由度。 游戏立体3D与全景 化，当前 Oculus/HTC- Vive
2、/PS-VR定义全 新的游戏模式 腾讯、阿里巴巴和百度等等已领头进入VR领域，我们看到：从2015年 11月以来，“VR”这个名词在国内炙手可热，争着把钱扔给VR公司的 大公司络绎不绝，它甚至成了两会的热点，多个省市级政府将其视为 创新创业的新增长点。无论想进入者是谁，这都不是偶然的。 国内智能手机巨大的用户基数能有 效助推VR产品。因此头戴式的VR设 备被众多厂商追捧。据预测，到 2020年VR设备出货量820万台，用 户量超过2500万人。 受益于硬件爆发，VR内容产业 有望开始加速，移动VR销量或 将达到5000万部。 随着三星、HTC和Oculus等主 流消费电子厂商发布消费级产 品，
3、VR产业井喷元年 2019年，硬件标准之争开始，寡 头垄断或为最终结局；内容端封 闭系统和开源系统体系竞争开始。!“#$% 提供各种场景下VR服务的软件，例如VR播放器、各类VR 游戏等。应用软件是直接接触用户、决定用户体验的末端 产品，是VR产业链软硬件技术的集中体现。目前，VR应 用有一些简单产品，随着硬件逐步成熟，将迎来大规模爆 发。 应用分发被认为是VR系统之外另一大入口。 目前主流的应用分发平台有应用商店（移动 端）和网站分发（PC）两大类，也有些VR 论坛带有分发功能。由于目前VR行业目前还 是硬件导向，VR应用分发主要由硬件厂商主 导。 VR应用分为三个层面：自上而下分别是 应用
4、软件、应用分发、中间件。 是一种独立的系统软件或服务程序，可在不同系统间共享 资源、可在不同应用中得到复用，典型的就是游戏引擎。 成熟的VR中间件将促进标准统一，提升VR应用开发效率， 快速引爆VR应用规模。已有一批中间件开始支持VR技术， 英伟达（NVIDIA）2014年9月发布了VR Direct技术，2015 年8月26日发布了VR游戏开发者的新开发套件 GameW orks VR Beta版本，此外还有SGI的OPENGL接口、 MS的DirectX接口、AMD的Liquid VR技术、Crytek的 CryEngine、MultiGen-Paradigm公司的Ve g a P r i
5、 m e等。硬件模型包含生产 VR硬件设备的专业 公司。 在产业链中供应拍 摄设备（如摄像机， 拍摄支架，拍摄 车），头戴显示设 备（LCD/传感器） 一体机等。 配套硬件 竞争优势： 潜在市场需求量大 技术导向型 入门门槛高 竞争压力： 竞争对手众多 供应链成本压力 研究开发周期较长 开发中间件是许多 软件公司在进入VR 行业时，必须要具 备的技术基础。 一款好玩的游戏或 者沉浸式直播应用 均强烈依赖中间件 技术。 中间件 竞争优势： 弹性化需求定制 快平台复用性好 回报利润高 竞争压力： 技术走向预测困难 研发难度很高 需要较多行业知识 良好的VR生态圈需 要源源不断的内容 输出到不同平台
6、。 其中很大一部分工 作涉及创意内容的 知识产权创作，如 全新的视频拍摄模 式，新的游戏设计 等。 内容供应 竞争优势： 强创意相关性 接近人的本质需求 竞争压力： 硬件环境制约 缺乏创作经验 打造一个类似 Oculus或StreamVR 平台是导入大批量 用户快捷途径。 或者类似UtoVR， youtube等VR视频 内容的聚合平台。 展现渠道 竞争优势： 平台用户数量大 用户转化率较高 推广成本优良 竞争压力： 受大平台制约 内容监督机制 ?:延迟的产生过程 国内大朋和“国际标准” ABC%C:的产品都是采用此种 算法，最低延迟是完全一致的， 在全世界范围内，=6?:的 延迟是当下最科学，
7、最可信 的延迟推算时间 用户沉浸式交互强烈依赖外部设备的动作跟踪，头部动作捕捉是当下-.技 术的一种重要手段，而实现上主要依靠内D外置陀螺仪传感器来实现。 ?轴陀螺仪EF02G:BG91H 在I0J三轴上检测角速度的变化 +轴陀螺仪EKBB1%12G1L12MF02G:BG91H 在I0J三轴上检测加速度与角速度的变化，需要融合算法 6轴陀螺仪EKBB1%12G1L12M(#N“1L$BMF02G:BG91H 在I0J三轴上检测加速度，地磁场，角速度三者的数据变化，需要融合算法 加速度D陀螺仪E(K.FH融合，为头部跟踪定位系统提供平滑准确的动作 跟踪数据，加速度提供垂直重力方向校准，陀螺仪提
8、供角速度位置。 -.头戴显示体验的直观感受来源于极致逼真的立体呈像效果，目前的 渲染模型克服的主要难题在于头显设备镜片与数据源的图像失真 人眼观测的视角范围（无透镜） 人眼观测的视角范围（有透镜） 通过透镜观看正常物体后成为卷曲效果 通过透镜观看失真物体后成为正常效果 !屏幕到镜片距离计算 !利用千分尺测量手机卡在眼睛的 边界到安装的镜片的实际距离， 作图展示了测量的实际操作规程。 !计量单位采用毫米制。 !双眼瞳距计算 !利用千分尺测量眼镜两个镜片中 心点之间的距离，如果测量不易， 可以把手机放入眼镜中进行测量， !计量单位采用毫米制。 屏幕垂直对齐校准距离 !手机下边界到人眼距离（大部分）
9、 !利用千分尺测量手机卡在眼镜的 下边界到安装的镜片红心的实际 垂直距离，作图展示了测量的实 际操作规程（暴风魔镜为例） !计量单位采用毫米制。 !手机上边界到人眼距离（很少） !利用千分尺测量手机卡在眼镜的 上边界到安装的镜片红心的实际 垂直距离，作图展示了测量的实 际操作规程 !计量单位采用毫米制。 !确定最终系数 !利用cardboard的demoapp进入虚拟的场景中观看 实际的效果。 !手机类cardboard的实际展示都属于枕形失真 （pincushion distortion） !矫正畸变确认系数采用如下数学模型 xd = xu(1+k1r2+k2r4+k3r6+) yd = y
10、u(1+k1r2+k2r4+k3r6+) (xd, yd)是失真图像坐标点， (xu, yu)是矫正后的图像坐标点 r是失真坐标点与矫正坐标点的实际距离， 可以通过正交投影后利用勾股定理计算 受目前设备端F/O性能限制，在帧数不足的情况下预测插帧可以良好地 缓解视觉的疲劳感 VR为产生更好的用户体验， 图像 的更新必须要与Vsync同步。 但 是如果某一帧渲染时间过长，下 一帧就会被丢掉引起画面抖动。 这是由于一个新的帧还未被渲染 完成，即还没有推送到视频显示 器， 此时显示设备就会扫描到与 上一帧相同的image 此时ATW就会用来解决该问题： 如果被渲染的帧没有在下一个 Vsync到来之前
11、提交， time warp 就会截获并扭曲最新一帧来代替 未被渲染完成的帧， 虽然新的 image不是完全正确的帧， 但是 与没有ATW相比， 明显较少了画 面的抖动。 现今阶段-.全景?+7度视频普遍采用球面拼接技术，下图是一张典型 的球面拼接过后的图像画面，在播放端我们将其作为球面贴图展示 镜头畸变系数确认 图像进行球面坐标投影 图像特征点检测与提取 仿射变换匹配与计算 Camera抓取每一帧 查表消除畸变，球面展 开，映射到全景位置 图片混合与拼接 球面展开表 图像标定环节（初始化做一次） 实时拼接环节（每一帧都做） 不同相机图片的重叠区相互融合 不同相机图片的曝光度整合统一 P#:L!L121G.1“Q12$“N8G2-.RFGGN%1!%$Q1:RFGGN%14GB: SKQT#“B1Q-1“Q12$“NUV0K%1I-%#BWG:E-#%T1HX!L1# F#1YG2Z:-./21:1“L#L$G“R5-4K41T1%G912 K:0“BW2G“GC:$1#29I#$“1Q
