沉浸式虚拟现实VR一体机系统.pdf

1、广州华数电子科技有限公司 沉浸式虚拟现实 VR 一体机 系统 系统概述 VR 是 Virtual Reality 的缩写，译为中文即 “ 虚拟现实 ” ，该技术融合了计算机 3D 图形技术、计算机仿真技术、传感器技术、显示技术等多种科学技术，在多维信息空间上创建一个虚拟信息环境，能使用户具有身临其境的沉浸感和模拟现实环境的交互性，有助于加深感受、启发认知。因此， VR 系统环境具备沉浸感、交互性、构想性这三个基本特性。 VR 虚拟现实 的关键技术主要包括模拟环境三维图形处理技术、位置追踪技术、触觉或力觉反馈、智能传感设备各等。理想的 VR 体验，是基于计算机生成逼真的三维立体虚拟环境，借助 V

2、R 输入 /输出设备体会到人体正常应感应到的视觉、听觉、触觉、力觉、运动等所有感知，甚至还包括嗅觉和味觉等，并利用位置追踪技术，对头部转动、眼睛、手势等其它行为动作进行采集，由计算机处理体验者动作的相应数据，并做出实时响应和反馈。 随着移动互联网技术、人工智能技术的发展，推动了 VR 虚拟现实 技术在工业、医疗、教育、军事等多个领域的应用，沉浸式 虚拟现实 设备因实用便携、最能展现 虚拟现实 效果而成为未来主要的发展趋势，由于沉浸式交互技术、 VR 外设硬件技术的不断突破， VR 技术也逐步朝着完整成熟的产业化方向发展 。 VR 产业现状分析 VR 产业覆盖了硬件、系统、平台、开发工具、应用以

3、及消费内容等诸多方面，广州华数电子科技有限公司 作为一个处于技术创新井喷期的产业， VR 虚拟现实 的想象空间和市场前景十分广阔，全球科技巨头纷纷投身其中。目前， VR 作为新兴产业，其技术要求高、资源投入大，产业链的部分环节相对比较单薄，国内 VR 产业主要集中在硬件制作环节，而内容与工具提供商，尤其是内容平台搭建者，主要以国际大型 IT 科技公司为主。 尽管目前 VR/AR 行业都处于起步阶段，但整个市场未来增长潜力巨大：根据Digi Capital 预测至 2020 年，全球 AR 与 VR 市场规模将达到 1500 亿美元，而根据市场研究机构 BI Intelligence 的统计，

4、2020 仅年头戴式 VR 硬件市场规模将达到 28 亿美元，未来 5 年复合增长率超过 100%。在过去的 2015 年， VR 毫无疑问成为资本市场最受热捧的风口。 2016 年， VR 将在全世界范围内迎来行业大爆发，成为互联网科技界新一代的智能硬件入口。由于 VR 带来的时代颠覆性，国内外各大型知名高新科技公司纷纷进驻 VR 产业，寻求下一个发展切入点： 国内：腾讯进入 VR 领域，发布 “TOS+” 智能硬件开放平台，布局 虚拟现实 产品在内的智能硬件生态圈；百度视频成立 VR 频道，成为 BAT 中投入 VR领域的首一家；暴风、 360、小米、迅雷、京东等知名互联网公司也纷纷开发其

5、VR 产品迅速占据国内主流市场 。 国外：索尼 PS VR、 HTC Vive、 Facebook 旗下的 Oculus、三星 GearVR、微软 VR Kit、谷歌 Cardboard 成为国际 VR 消费级市场主流产品； Magic Leap广州华数电子科技有限公司 （裸眼 3D全息视觉）宣布获 8.27亿美元；著名游戏 公司 EA将组建 VR游戏团队，开辟全新的 VR 游戏产品路线 。 全球最大社交平台 Facebook 创始人扎克伯格在收购 Oculus 时表示： “ 我们在做长期的布局，未来 虚拟现实 和增强现实都将进入普通人的生活。 ” 而根据风投机构 Digi-Capital 的

6、预测，到 2020 年，整个 虚拟现实 技术将产生 1500 亿的庞大市场。 2016 年 1 月的国际消费电子展（ CES）中， 虚拟现实 和增强现实技术成为了本届展会的焦点，结合 CES2016 年关于 VR 产业链的成熟度，预计2016-2020 年，随着大量适应移动 VR 的爆款游戏出现， VR 将拥有庞大的主流用户群体， VR 产业也将进入红利期。可以预见的是，随着技术的逐渐成熟和完善，VR 虚拟现实 技术将在科研教学、虚拟医疗、虚拟驾驶、旅游景观、航空航天、远程协同、城市规划、游戏娱乐、工业仿真、军事模拟、广告 营销、虚拟实验，甚至心理疾病治疗等领域，带来一次颠覆性的技术变革。 沉

7、浸式虚拟现实 VR 系统在东莞理工学院应用前景 教 育 方面 选 取定制研发沉浸式虚拟现实 VR 一体机，建立虚拟现实研究平台，开展 VR广州华数电子科技有限公司 结构设计， VR 透镜设计， VR 一体机软件开发， VR 一体机硬件设计，建成为应用成果向工程技术转化的虚拟现实试验支撑平台，结合学校和企业当前的技术人力资源，设立虚拟现实基础技术课程及 VR 设计应用的实操课程，培养专业的虚拟现实方面的人才，为虚拟现实知识的普及奠定良好基础，为 申请 或 承担一批国家级 、省级 、 市级课题 提供 技术平台支撑 。 （一）、 知识点呈现方式的升级需求 ： 科技与教育如影随形，每一次科技革新对教育

8、都会产生深刻影响，教师在课堂上传授知识的方式也在不断演变，从而满足高效的信息化教学需求。从使用“ 粉笔 +黑板 ” 到使用多媒体教室的交互白板，从 “ 全程基本靠讲 ” 的知识单向灌输到配合使用答题器、平板电脑终端进行师生交互，科技设备并非要取代 “ 传统 ” ，而是将各种高科技教学设备和信息化教学手段做互补、融合，针对课堂中不同学科、不同类型的知识点，为教师提供更先进的、适合的、多元化的呈现方式。 尤其适合在 VR 课堂中呈现的知识点例如：天文天体、地壳运动、时间空间等宏观知识点的理解认知；细胞分裂、分子原子、光合作用等微观知识点的观察认知。 （二）、 高难度教学目标的需求 利用 虚拟现实

9、技术，可以彻底打破空间的限制。大到宇宙天体，小至原子粒广州华数电子科技有限公司 子，学生都可以进入这些物体的内部进行观察。例如学生可以乘坐飞船进入虚拟太空，遨游太阳系，以飞船驾驶舱视角近距离观察各个行星，理解真实的天 体运行规律，这是电视录像媒体和实物媒体所无法比拟的。虚拟技术还可以突破时间的限制，一些需要几十年甚至上百年才能观察的变化过程，可以在很短的时间内呈现给学生观察。例如，生物中的孟德尔遗传定律，用果蝇做实验往往要几个月的时间，而虚拟技术在一堂课内就可以实现。另外，地壳运动的原理、生物进化的演变等漫长过程，也可以通过 虚拟现实 技术得以展现。 （三）、 教学实践操作的需求 以往对于危险

10、的或对人体健康有危害的实验或实践，一般采用视频观看的方式来取 代，学生无法直接参与实验，获得感性认识。 VR 技术可模拟现实中难以实现或者不存在的环境和角色、物体等，消除了以往教学中对学生人身安全、成本消耗的顾虑。在绝对安全、错误可逆可修复性上，利用 VR 技术的实验课和实践操作上拥有难以比拟的优势。 这一点的明显应用就是虚拟实验室，对于那些对条件要求高、在现实中无法实现、危险性极高、产生结果不可逆的试验， VR 化学实验可以避免实验所产生的燃烧、爆炸或其它危险和巨大消耗。采用虚拟实验的方式，学生通过亲身操作体验进行学，并且很容易进行错误修正，或对结果做出可逆的改变，而不用担心会有任何物质成本

11、消耗或需要善后的相关工作。虚拟课堂还可以广泛运用于中小安全课，可避免由于学生操作失误，而造成地震、火场、踩踏等紧急情况下的安广州华数电子科技有限公司 全事故；虚拟的飞机驾驶教学系统，可免除学员操作失误而造成飞机坠毁的严重事故。 （四）、 自适应探究学习的需求 虚拟现实 技术可以对学生学习过程中所提出的各种假设模型进行虚拟 ,通过虚拟系统便可直观地观察到这一假设所产生的结果或效果。例如，在虚拟的化学系统中，学生可以按照自己的假设，将不同的分子组合在一起，电脑便虚拟出组合的物质来。通过这种探索式的学习，学生很有可能发现新的物质。利用虚拟技术，学生还可以进行温室效应、电路设计、建筑设计等方面的探索学

12、习，从而研究二氧化碳对全球气候的影响规律，或设计出新的电路、新的建筑物。利用 虚拟现实 技术进行探索学习，有利于激发学生的创造性思维，培养学生的创新能力。 （五）、 接轨 STEAM 教育的趋势需求 K12 教育理念未来将趋向 STEAM 的结构化发展，即 Science-科学、Technology-技术、 Engineering-工程、 Arts-艺术、 Mathematics-数学。国际上普遍的观点认为：任何国家在 21 世纪要保持它的技术优势，首先需保证具有技能资格人才资源的丰富储备，未来的工作者需要熟练地运用数学、科学、技术，以便于高新技术爆发式增长的领域不会出现人才 短缺。而 VR+

13、教育完全契合在科学、技术、工程、数学等学科上的应用优势，其可沉浸的呈现方式、强交互的实践可行性、可发挥自适应性等，尤其适合 STEAM 课题的设计与创新。 广州华数电子科技有限公司 科研方面 选取沉浸式虚拟现实 VR 一体机，建立虚拟现实研究平台及其支撑作用， 进行科研及教学 验证性测试。依托虚拟现实研究平台，针对 VR 一体机的成果， 转化为教学科研成果 专利申请以及科研成果 论文 发表 。 研发创新 依托平台，研发创新， 提高 东莞理工学院 科技支撑能力 ， 提高学院科研管理机构科研能力和科学技术研发能力。依托相关的资源，进行相关工程技术开发和研究，推动创新发展。 VR 技术特征 VR 技

14、术的应用与实现综合了三维图形处理、位置追踪、触觉或力觉反馈、人工智能等多种科学技术，其配套设备主要以 VR 输出设备、 VR 输入设备、 VR 内容制作设备，以及用于运算的计算机这四部分组成，整体实现 “ 沉浸感、交互性、构想性 ” 三大核心技术特征。 沉浸感 沉浸感（ Immersion）是 VR 虚拟现实 技术区别于三维仿真技术、 3D 影视、AR 增强现实技术的核心特征。由于 VR 系统可以将使用者的视觉、听觉与外界隔离 , 因此 , 用户可排除外界干扰 , 全身心地投入到 虚拟现实 中去，获得身临其境的感觉。 VR 技术根据人类的视觉、听觉的生理心理特点，由计算机产生逼真的三维立体图像

15、。使用者戴上头盔显示器和数据手套等交互设备，便可将自己置身于虚拟环境中，成为虚拟环境中的一员。使用者与虚拟环境中的各种对象相互作用，就如同在现实世界一样：当使用者移动头部时，虚拟环境中人物视角所看到广州华数电子科技有限公司 的景象画面也发生变化；拿起物体可使物体随着手的移动而运动，通过多声道耳机还可以听到三维仿真声音。 交互性 交互性（ Interaction）使 虚拟现实 系统中的人机交互成为 一种更近乎自然的交互 , 使用者不仅可以利用电脑键盘、鼠标进行交互 , 而且能够通过 VR 透镜 、VR 数据手套等用于信息输入输出的传感设备进行交互。计算机能根据使用者的头、手、眼、语言及身体的运动

16、 , 来调整系统呈现的图像及声音。使用者通过自身的语言、身体运动或动作等自然技能 , 就能对虚拟环境中的对象进行考察或操作。 构想性 VR 技术的构想性（ Imagination）对于教育方面的应用意义尤为重要。由于虚拟现实 系统中装有视、听、触、动觉的传感及反应装置 , 使用者在虚拟环境中可同时获得视觉、听觉、触觉、动觉等多种感知 ,可增强学习者对学习内容的感知程度、认知程度 , 高感性和理性认识，从而使用户深化概念和萌发新的联想，因而可以说， 虚拟现实 可以启发人的创造性思维。 VR 系统构成 VR 输出设备 VR 输出设备主要包括 VR 透 镜、多声道耳机、力回馈背心，实现五感当中视觉、

17、听觉、触觉上的模拟，未来 VR 输出设备还将开发更为先进行的味觉、嗅觉上的模拟。 VR 输入设备 VR 输入设备包括可穿戴输入设备、手持式操作手柄、手势识别设备、动作捕捉设备等。 1、 可穿戴输入设备 VR 手套支持多模式的 VR 输入，提供真实自然的三维交互体验。 2、 手持式输入设备 :操控手柄是目前最常见的输入设备 . 3、 手势识别设备 : 相比于操作杆，手势识别技术给使用者带来更佳的代入沉浸感，由于学习成本低、灵活性高、实用性用，是行业前沿高科技公司未来研广州华数电子科技有限公司 发的重点 。 4、 运动识别输入设备：运动识别输入设备是一种 3D 体感摄影机，同时它导入了即时动态 捕

18、捉、影像辨识、麦克风输入、语音辨识、社群互动等功能 . VR 资源制作 VR 内容的制作是应用时的重点环节，目前市场上的 VR 内容来源分为：由普通视频的基础上改造的、实时渲染的 VR 视频、由专业设备拍摄制作的原创资源，以专业 化的原创资源为主，这里也将重点介绍原创资源的相关技术特点。 （ 1） VR 内容制作设备 VR 摄像机 ： 实时完成 360 度或 720 度的环绕立体影片素材拍摄。 三维扫描设备：在虚拟空间中快速生成真实世界三维数据，用于高拟真的 虚拟现实 内容制作。 图像处理设备 ：用于环绕立体音视频及图像制作合成。 （ 2） 资源主要形式 VR 资源按内容及应用形式主要分为以下

19、几类： 视频内容 ： 再改造的 VR 内容：主要以现有视频的改造为主，类似于 2D转 3D 视频。实时渲染制作的 VR 视频：完全根据 VR 视觉特点来设计，从角色动作、背景、摄像、走位到剧情安排、道具处理，甚至与观众互动，都经过精心设计的 虚拟现实 视频内容，观众有着极强的沉浸感和互动体验。 VR 合成音视频：由专业的 VR 制造者通过专业的设备进行拍摄，并使用多声道音频麦克风矩阵，通过立体全景视频合成与环绕混音外理，编辑而成的 VR 合成音视频。 拟真场景 ： 全景图对于观察者而言 ,是建立在图像上立体的多角度的图形环境，透过 VR 眼睛，可以让观察者仿佛身临其境一般，足不出户即可观察诸多

20、景色与场景。基于全景图像的 虚拟现实 技术得到了迅速发展，被广泛用于数字博物馆、虚拟旅游、房地产展示等三维全景漫游。 广州华数电子科技有限公司 通过制作软件构建的 VR 场景，例如还原出的某一历史事件的场景，构建出的一个自然生态系统的场景，制作出的一个宇宙黑洞边缘的场景，这些场景可以用于体验、教育、训练之目的，让观察者置身其中，获得更为直接的感官和认识。 沉浸式虚拟现实 VR 一体机 设计方案 结构 设计 （手模、开模） 1、 产品原理图 、 PCB 图、电路设计图 参见本文件 3.7 节 沉浸式虚拟现实 VR 一体机提供 PCB 图，原理图 及 内部电路结构设计图 2、 成品效果图 参见本文

21、件 3.7 节： 沉浸式虚拟现实 VR 一体机外观设计效果图 、 3D 结构图外观开模制作图 3、 成品技术性能参数 性能 功能参数配置 材质 ABS 外观 A 壳 、 B 壳（两喷） 前盖 、面盖（两喷） 调节按钮 焦距调节、瞳距调节（本色） 广州华数电子科技有限公司 透镜框 左右、本色 支架 眼罩支架 A、眼罩支架 B（本色） 焦距调节轴 金属 尺寸 185 mm *83 mm *115mm 功能按键 电源键， 返回键，音量调节 +/-，焦距调节 ,瞳距调节 耳机插孔 3.5mm 充电端口 Micro-USB 重量 600g 4、 结构设计方案 1) ID 造型： 1 个完整产品的设计过程

22、 ,是从 ID 造型开始的，本项目中我方技术人员根据项目标书需求、结合目前市场流行设备外观 ID 形象，绘制满足用户要求的相关图纸：尺寸图、三维效果图。 2) 建模： 根据根据项目标书需求、结合目前市场流行设备外观 ID 形象进行二维建模、三维建模。 3) 结构设计流程 LENS 结构 -LCD 结构 -夜光结构 -通关柱结构 -防水结构-按键结构 -PCB 结构 -电池结构 -辅助结构 -尺寸检查 -手板跟进 -模具跟进 LENS 结构 : 镜片 1.0mm，镜片要固定，通常用双面胶，双面胶需预留 0.15-0.20mm 的空间，为达到防水要求，镜片用超声波 焊接。； LCD 结构 : 对电

23、子产品来说， LCD（液晶显示屏）就象她的眼睛，结构的好坏直接影响到显示的效果； LCD 通常做成方形，必要时可以切角，做成多边形； LCD 厚度通常是 2.70mm，超薄的也有 1.70mm；单块的 LCD 需和主板（以下称 COB）相连才能显示，常用连接方式有导电胶条和热压斑马纸；其中导电胶条要有预 压量，通常预压量为 10%-15%，预压量太少 LCD 容易缺画，预压量太多 LCD 容易被 顶绿；热压斑马纸不需预压， LCD 与 LENS 不能直接贴合，贴合容易产广州华数电子科技有限公司 生水纹 . LENS 到 LCD 之间保持洁净 ,成封闭结构 , LCD 组件与面壳之间留0.30m

24、m 的间隙 ,用 0.50mm 的海绵隔开 ,用于防尘； 通关柱结构和防水结构 : 通关柱是连接面壳和底壳的螺丝柱，其结构直接影响到整机的装配效果和可靠性；通通关柱的设计考虑整机受力情况，吃牙深度在 3 圈，孔 内要留容屑空间 0.30mm以上；防水，故采用不锈钢螺丝；（压缩量 0.60mm比压缩量 0.40mm） 按键结构 机械按键，为保障按键结构保证顺利回弹，按键表面处理工 艺有电镀，在模具上做雾面面效果，边缘处做成高亮效果， PCB 结构 : PCB 是电子元件附着的载体，制板厚度选用 1.00mm,COB 厚度选用1.201.60mm；多层板面板；压紧导电胶条的螺丝之间的间距不要 超过

25、15.00mm，以免出现缺画； PCB 上的按键位置是需要受力的，尽量离螺丝柱和卡槽近点，反面加支撑点增加受力；电源插座和耳机插座也是要受力的，可以在 PCB上插座对应的另一侧加支撑骨；在 PCB上布线前，建模时就提供初 步裁板图给电子工程师试 LAY，以确定 PCB 面积离需要不要相差太多；结构设计的中间过 程中，大元件，敏感元件的摆放也要和电子工程师进行沟通和协调，所有结构完成后再出正式的裁板图。 电池结构： 电池固定： PCB 板上，预留间隙（ 0.50mm），防止锂电池充电后膨胀 电 池通常通常摆在 PCB 的背面或侧边，项目产品采用锂电池。 电池箱体：是根据电池形状和在机身内放置的方

26、式而设计的，壁厚 1.00mm,里面大包围做箱体，箱体内侧底部做电池放置指示的雕字，外面加盖做电池门。 辅助结构 : 外设、接口结构按项目文件需求配置。 4) 尺寸检查： 产品设计尺寸标准： 185 mm *83 mm *115mm 为保障结构设计初步完成，在产品设计过程中进行一系列检查： a 干涉检查：使用 PRO-E 系统进行快速精确检查。 b 最小壁厚检查：做最薄壁厚不要低于 0.50mm，特别是受力的位置； 广州华数电子科技有限公司 c 扣位强度检查：保障扣位强度 d 运动检查：弓扣的电池门在开合的过程中弹弓位不得撞到电池箱。摄像头在翻转过程中头部不会碰到支架。 5) 手板跟进 : 结

27、构设计完成后 ,手板进行试装，手板材料一般采用和结构零件相对应的材料 6) 开模： 严格根据技术图纸进行产品配件开模 ,打螺丝时检查螺丝柱有无滑丝 , 7) 品质测试 : 跌落测试 , 防水测试 防静电测试 声压测试 温湿度测试 灵敏度测试 按键可靠性测试 推制可靠性测试 , 震荡测试 透镜 设计 VR 输出设备主要包括 VR 透 镜、多声道耳机、力回馈背心，实现五感当中视觉、听觉、触觉上的模拟，未来 VR 输出设备还将开发更为先进行的味觉、嗅觉上的模拟。由于头戴式 VR 透镜是目前面向消费者的主流 VR 输出设备，本方案将重点做详细介绍。 VR 透镜基本原理是在眼睛前方放置一个液晶显示屏，分

28、别显示左右眼画面。用户通过目镜（凸透镜）观察屏幕，以带来视觉上的沉浸式体验。头戴式 VR 透镜器涉及的技术有投影技术、显示技术、光学技术、人体工程学，以及体感交互技术等，具备以下技术特点： 视觉体验 ： 阻断原有视觉输入 头戴式 VR输入设备以 VR透镜为代表 ,其外型设计上采用全封闭的罩形设计，基于人体工程学，使其全面贴合面部的眼周结构，阻断用户外部可见视野，以专注于内部镜片所呈现的影像，首先排除了在视觉上不被外界因素干扰。 模拟影像占据全部视觉 广州华数电子科技有限公司 VR 透镜普遍提供 90120 左右的可视视野，使用者还可以通过头部动作甚至是身体动作，从更多角度来观察虚拟成像环境，视

29、角范围越大，沉浸式体验越好，箱笼效应越低。 影像与人体动作的交互 基于视觉输入效果和动作侦测算法，往往能让使用者大脑产生 “ 可交互 ” 的错觉，而在图形图像支持技术或多媒体算法足够精湛的前提下，使用者不仅会“ 身临其境 ” ，并且还能基于当前虚拟环境做相应的交互。 动作侦测 VR 透镜不仅要解决视觉体验的问题，还需要实现侦测用户移动头部时移动方向、移动速度、移动角度的功能，以便计算机实时输出相应的画面避免虚拟环境穿帮。实现侦测通常有三种方法： （ 1） 使用速度计、重力计、陀螺仪来辅助判断 透镜 运动。 （ 2） 使用电磁波感应器侦测 VR 透镜 上相对的电磁波发生器，来判断 VR 透镜状态

30、。 （ 3） 在机身各角度使用二维识别码，通过摄像头拍摄辅助判断 VR 透镜 状态。 硬件指标 目前国内消费市场中有上百种 VR 透 镜产品，但由于产业链和标准尚未成熟，其产品同质化情况严重，为控制成本、降低售价，品质良莠不齐。而影响 VR 透镜 品质及体验感的硬件关键指标如下： （ 1） 屏幕分辨率：决定视觉清晰度，分辨率越高，纱窗效应（颗粒感）越不明显。 （ 2） 刷新率：刷新 率决定视觉流畅度，刷新率太低一是画面会出现撕裂，二是人容易眩晕。刷新率 120HZ 以上（单眼 60HZ）较为理想。 （ 3） FOV 视角范围： FOV 指镜头所能覆盖的范围，视角范围越大，沉浸式体验越好，箱笼效应越低，低于 100 度就会明显看到视野边缘有黑框。 （ 4） 响应时间：屏幕的响应时间越低，迟滞感越接近无，是个影响交互体验的重要参数。一般在 20ms 以内迟滞感较不明显。 （ 5） 跟踪方式：所采用何种动作侦测方式。