1、3D 感知引领人机交互应用新方向 周路菡 在移动端的应用, 未来将引导机器人、无人驾驶、体感识别、实景购物、智能家居、3D 感知等多个领域的变革, 3D 感知也将开启人机交互新时代苹果在新一代 i Phone 发布会上正式推出了“Face ID”面部识别技术, 首次在移动终端实现了 3D 识别以及 AR 功能。苹果大规模率先采用 3D 感知技术, 说明3D 识别应用已经从实验室踏入市场, 这也让与 3D 识别相关联的所有相关的产业和应用领域, 都迎来了真正的革命性的风口。3D 识别技术在移动端的应用, 未来将引导机器人、无人驾驶、体感识别、实景购物、智能家居、3D 感知等多个领域的变革, 3D
2、 感知也将开启人机交互新时代。3 D 感知应用迎来“超级周期”2017 年 9 月 13 日, 苹果在新一代 i Phone 发布会上推出了 i Phone 8、i Phone X 等一系列新产品。在这次发布的新产品中, i Phone 手机引领新一轮的硬件创新浪潮, 其中柔性 OLED、双摄、3D 摄像头、玻璃外观、无线充电、双电芯、类载板、声学升级、Si P 封装、激光加工已成为新的看点。在所有的硬件中, 最被业内人士看好的是在苹果手机上率先应用的 3D Sensing (3D 感知) 技术。据悉, 该技术将重新定义手机的前相机地位, 苹果可能凭借3D 感知技术重回创新领导者的宝座。苹果手
3、机的 3D 感知技术之所以成为此次 i Phone 的最大亮点, 主要是其让一向被长期探索的技术正式进入应用层面。苹果的 3D 感知技术原理为使用 Light Coding 技术, 透过红外线发射器将空间编号, 利用打出至空间或物体上的散斑来记录深度资讯, 因此可模拟出 3D 效果。据悉, 苹果通过手机前端的红外线原生感摄像头, 投射超过 30000 个肉眼不可见的光点到人脸之上, 并绘制出一个完整的面部 3D 图形。据了解, 以往 Light Coding 曾被应用在 Microsoft 第一代 Kinect 上, 以便侦测玩家动作, 如今 i Phone 将此技术导入人脸辨识应用上, 透过
4、 3D 感测来纪录使用者的五官外观特征。而由 3D 感测驱动的人脸辨识所产生的最直接影响, 就是取代了原本由 i Phone 带起的指纹辨识功能。换言之, 不管在手机解锁或是 Apple Pay 使用都将由人脸辨识取代。根据实际的检测结果, 3D 感知技术的应用将大大方便使用者的解锁步骤。i Phone X 可感知用户只需要看手机就可以让手机自动解锁, 这样就在使用者习惯上大大简化了操作步骤。以往使用者在解锁过程中需要把手指置于 Home Button 上, 但是有时手指脏污, 手机无法辨识指纹, 所以还得需要输入密码。此外, 苹果的 Apple Pay 功能也更加方便, 因为使用该功能以往需
5、要指纹辨识以达到验证目的, 如今 i Phone X 的人脸辨识读取完用户的脸部资讯后, 用户在手机侧边的睡眠/唤醒切换键轻点两下确认后, 就可完成付费程序。在资讯安全部分, 苹果 3D 感知技术的应用强调其所采用的人脸辨识功能通过导入机器学习的神经网络, 可以让安全性较指纹辨识功能大幅提升, 容错率仅1:1, 000, 000, 这也降低市场原本对于人脸辨识在安全上的疑虑。苹果在 i Phone X 上大规模采用感知技术, 将彻底激活这一领域, 消费电子也将从此进入“AI+AR”新时代, 未来会给 3D 感知技术研发、图像处理芯片、系统模组等多个产业带来巨大的市场空间。在这种背景下, 可以说
6、与 3D 感知技术所有相关的产业和应用领域, 都迎来了革命性的风口。未来, 3D 深度感知技术进入消费级智能终端将是大势所趋, 一旦实现大规模应用, 将对现有的消费电子产品产生颠覆性的影响, 人机交互将进入新时代。3 D 感知应用进入成熟期目前, 主流的 3D 感知成像技术有三种:双目视觉、结构光技术和时差测距技术 (Time of Flight, TOF) 。双目视觉基于立体视觉原理, 模拟人眼成像;结构光技术通过收集激光照射到粗糙物体后返回的斑点得到 3D 图案;TOF 方法通过接收反射回来的光线, 由测量时间差算出目标距离。3D 感知成像三种方案各有优缺点。其中双目视觉方案, 软件算法复
7、杂, 技术还不成熟;结构光方案, 技术成熟, 功耗低, 平面信息分辨率高, 但是容易受光照影响, 识别距离近;TOF 方案抗干扰性好, 识别距离远, 但是平面分辨率低, 功耗较大。综合来看, 结构光方案更加适合消费电子产品前置近距离摄像, 可应用于人脸识别、手势识别等方面, TOF 方案更加适合消费电子产品后置远距离摄像, 可应用于 AR、体感交互等方面。2012 年以来, 3D 感知成像开始受到全球各大科技巨头的重视, 值得注意的是, 除了苹果之外, 谷歌、微软、英特尔、索尼、三星等科技巨头, 均在深度相机、体感交互、动作捕捉等领域展开了深度布局, 研发先进的 3D 感知技术。如 2012
8、年左右, 微软收购了 3D-TOF 相机公司 Canesta 和 3dv;2013 年, 英特尔推出 Real Sense 实感技术, 谷歌推出 Project Tango 项目, 苹果收购结构光先驱 Prime Sense;2015 年索尼收购了 3D 感知技术综合技术供应商 Soft Kinetic, Facebook 旗下 Oculus 收购 3D 手势识别公司 Pebbles。作为全球消费电子的王者, 苹果公司投入最为积极, 早在 2010 年左右便开始在 3D 感知技术方面展开布局。2010 年 9 月苹果收购了瑞典三维图像识别公司 Polar Rose;2013 年 11月以 3.
9、6 亿美元收购了 3D 感知技术结构光方案先驱 Prime Sense, 获得大量专利和技术;在 2015 年之后, 在 3D 感知技术、人脸识别、图像识别等方面, 苹果先后收购了 Linx、Faceshift、Emotient、Flyby Media、Real Face 等多家公司, 形成了全面的产业布局。自 2013 年收购 Prime Sense 之后, 苹果推动 Prime Sense 的 3D 体感传感器向小型化方向发展, 在 3D 视觉方面加大投入, 不断推出技术升级和专利布局。其中 2015 年 4 月, 美国专利局公布苹果 3D 手势控制技术专利, 是一种能够精确识别人手手势的
10、 3D 机器视觉系统。2015 年 7 月, 美国专利局批准了一项苹果提交的面部识别专利, 名为“低门槛面部识别”, 基于前摄像头捕获的图像, 然后图像处理器对该图像进行处理, 随后便与存储在参考模块中的图像进行对比。2015 年 10 月, 苹果公司关于手势和面部识别的专利再次出现;2016 年 7 月, 苹果公布新型 3D 手势控制专利, 是一个 3D 图像投影仪, 内嵌在一个诸如 i Phone 手机这样的 i OS 设备上, 可以识别出用户的手势操作;2017 年 3 月, 苹果发布 3D 感知新专利利用景深信息进行人脸识别, 该专利有望用于下一代i Phone 的 3D 相机系统,
11、该专利的部分技术出自 Prime Sense 公司。可以说, 苹果公司在 3D 感知各个方面都进行了深度布局, 苹果移动端 3D 感知技术已进入成熟期, 具备大规模应用的技术基础。目前, 3D 感知技术已经在工业和医疗领域取得成功。根据相关报告, 2016 年全球 3D 感知技术市场规模约为 13 亿美元, 其中 60%为工业级市场。但是由于成本较高, 市场空间有限, 应用定制化强, 并未大规模普及。在工业市场主要用于机器视觉检测等领域, 在医疗市场主要用于机器人辅助手术等领域。3D 感知技术产品在消费级市场的尝试适于微软 Kinect 游戏配件和英特尔Realsense 体感配件, 但是整体
12、而言, 由于缺乏较佳的应用场景, 同时技术还不够成熟, 导致目前消费级 3D 感知技术市场并未激活。由于苹果的带动作用, 2017 年被认为是 3D 感知技术元年, 预计 2018 年 3D 感知技术进入爆发增长期。在苹果的带动之下, 3D 感知技术将打开消费级市场, 随后行业将加速发展, 预计 2018 年在移动和计算领域将会有大量 3D 感知和传感产品上市, 特别是人脸识别、体感交互将成为 3D 感知技术获得突破的关键应用, 同时 AR 也是极有潜力的应用领域, 无人机和机器人市场也将受益于 3D 感知技术的崛起。根据 Yole 的报告, 预计 2022 年全球 3D 感知技术市场规模将达
13、到 90 亿美元, 从 2017 年到 2022 年的复合年均增速将达到 38.05%, 增长的动力主要来自于消费级市场的放量, 预计 2022 年消费级 3D 感知技术市场规模将达到 60 亿美元。3 D 感知引导消费电子进入“AI+AR”新时代目前手机的摄像头主要用于拍照, 但 3D 感知及成像不只是为了拍照, 更关键的是要获取更多的深度信息, 弥补 2D 成像特征信息损失的缺陷, 重建真实世界。那么获取深度信息都有哪些应用领域呢?3D 感知成像的创新又在何处呢?笔者对比后发现, 3D 感知并不是普通的功能性组件创新, 而是电子业在继图形界面、触控之后的第三次人机交互跨越的功能体现。3D
14、感知通过激活光学交互属性, 可以实现二维到三维的交互升级。随着信息量持续提升, 人机交互就开始向更高效、更简单、更自然方向演进。通过 3D 感知深度获取了更多的信息, 意味着用户可以对真实世界进行更真实、更高质量的图像描述, 配合激增的信息处理能力, 商家和用户就可以围绕 3D 建模衍生出多样化的应用:比如生物识别、AR/VR 到机器视觉、自动驾驶、无人机、安防等。但是在所有的应用领域中, “AI+AR”的深度应用是最值得期待的。苹果也希望让 3D 感知视觉来为苹果打造的先进 AR 体验提供重要支持。2017 年 6 月, 在苹果全球开发者会议上, 苹果发布 ARKit 开发平台, 该平台能够
15、利用每一部 i Phone 和 i Pad 上的摄像头, 以及各种传感器, 创造出不同凡响的 AR 体验。凭借苹果庞大的 i OS 用户群和开发者群体, ARKit 一举成为全球最大的 AR 开发平台。但是, 目前该平台主要基于传统摄像头, 在 AR 体验方面与 3D 摄像头相比有较大差距。苹果 CEO 蒂姆库克强调, AR 将是苹果未来不可或缺的重要环节, 有了 AR, 苹果的 i Phone 手机将更加具有吸引力。库克表示在 2017 年秋季推出 i OS11 后, 能看到各种各样的 AR 应用, 目前开发人员正在开发大量基于 ARKit 的应用和游戏。3D 感知在 AR 领域应用潜力巨大
16、, 提供强大建模能力。对于 AR 而言, 其核心功能是在现实物体上叠加虚拟信息, 将真实世界和虚拟世界“无缝”集成, 从而为用户提供真实与虚拟叠加的全新体验。因此, 在 AR 众多相关技术中, 3D 建模是至关重要的, 需要借助 3D 视觉景深相机在现实物体的基础之上构建虚拟的图像画面。尽管目前 ARKit 主要利用 i Phone、i Pad 等设备现有的摄像头实现 AR 体验, 但是如果 i OS 设备添加 3D 感知及视觉功能之后, 苹果将在 AR 体验方面全面升级, 3D 视觉所提供的景深信息和建模能力是现有普通摄像头无法比拟的, 借助3D 视觉苹果的 AR 体验将更加出色。3 D 感
17、知开启人机交互新时代回顾消费电子发展历程, 可以发现真正被用户认可并买单的技术总是集中在人机交互领域, 并围绕输入输出体验的提升而展开:比如电容触控、Retina 屏、大尺寸屏幕、3D 玻璃、指纹识别技术、3DTouch 技术、OLED 技术、双摄技术从功能上看, 3D 感知不仅仅在识别精度方面大幅提升, 更重要的是打开了更加广阔的人工智能应用空间。例如利用三维人脸识别可以直接获取消费者面部表情, 通过人工智能技术, 可计算出用户的生理年龄、精神状态甚至健康程度, 这些功能都将为消费电子带来全新的玩法;人脸识别还可以用于移动端自拍的快速对焦, 用户自拍美颜等功能。所以我们有理由相信人们对交互体
18、验更高效、更简单、更自然的追求将带来更多的 3D 感知市场渗透率, 3D 感知的普及力度或将超出市场预期。特别是在以下的市场应用中, 3D 感知技术将具有非常大的市场空间。三种主流的 3 D 感知成像技术 下载原表 在生物识别系统中, 3D 感知获取的深度信息可与模型链接, 迅速精准地完成匹配检测;在 AI 领域, 机器视觉是人工智能的下一个前沿, 而 3D 感知技术则是机器视觉的关键解决方案。在智能汽车上, 3D 感知可以用于自动驾驶, 通过 3D 感知技术对行车环境进行感知, 从而获取环境信息以增加安全性, 此外还可以用于汽车内的乘客离位检测。在家庭娱乐方面, 3D 感知作为一个性能优异的
19、输入设备, 实现手势识别功能, 为第一人称游戏提供直观的接口。在安防领域, 视频监控中 3D 感知可以增加深度信息实现全方位的监控, 而在人脸识别门禁中导入 3D 感知则大大提高了其安全性。在无人机领域, 3D 感知主要用于避障功能。更有专家认为, 在移动终端应用和用户体验方面, 3D 感知技术蕴含着亿万美元的市场价值。一旦人们习惯了 3D 感知技术, 并与我们所习惯的三维世界相融合, 将会在衣食住行等各个生活场景里, 爆发出无数应用领域和商业机会。例如, 在 2016 年 4 月, 阿里巴巴宣布成立阿里 GM Lab 后, 阿里就一直进行一系列商品 3D 化以及 VR/AR 展示相关的技术布
20、局。目前阿里以手机淘宝为运营平台, 陆续上线 3D/AR 主图、二楼 VR 店铺以及 AR Buy+扫一眼功能。同时辅以相应的活动推广, 包括 AR 众筹、潮玩购物活动、男人节女人节 3D 购物节、618、双 11 等, 取得了积极的市场反馈。目前阿里也成立研究机构开始对 3D 感知与深度神经网络、循环神经网络、卷积神经网络、支持向量结合方面进行深入研究。另外一家公司易尚展示自 2016 年开始便与阿里 VR/AR 团队进行了接触并确立了合作关系, 同时作为第一家 3D 感知 ISV 进驻阿里服务市场, 与阿里就如何快速高质量地对商品进行 3D 数字化重建进行研究与探索。易尚展示深耕 3D 数据领域多年, 成为国内此领域的领军企业。不久前, 该公司收到了科技部关于“三维数字彩色成像测量仪”的立项通知, 也佐证了其在国内 3D 数据领域的龙头地位。随着信息量的持续提升, 人机交互始终在向更加高效、更低学习成本、更加自然的方向演进。在新一轮创新周期中, AR/VR、AI 大量导入, 信息需求和信息处理能力激增, “触”和“听”将升级为信息量更大的“看”, 3D 感知技术的输入输出方式是大势所趋。基于 3D 感知技术的新模式, 未来将会诞生出一批全新的公司, 也势必会诞生出很多具有卓越技术和市场把握能力的独角兽。
