1、视觉SLAM研究,2015.9 秋季学期组会报告 清华大学导航中心 高翔,提纲,SLAM基本概念 SLAM是什么？ 为何要做SLAM？ SLAM的现状？ 发展历程 我的研究工作 基于平面特征点的RGB-D SLAM 基于SDA深度网络的回环检测技术 基于CRF的RGB-D场景语义解析,SLAM基本概念,SLAM基本概念,智能机器人技术 应用：工业、家庭、商务 案例：扫地机器人、家用机器人、无人机、智能手机、可穿戴设备 任务：路径规划、人机交互、搬运、操作、 定位与建图(SLAM),SLAM基本概念,SLAM：Simultaneous Localization and Mapping Local
2、ization: 定位 Mapping: 建图,SLAM基本概念,定位 建图Where am I? What is around me? 相互依赖又互为因果的两个问题。,SLAM基本概念,Why SLAM？ SLAM是机器人进入未知环境遇到的第一个问题。 是路径规划及许多其他任务的前提。 是实现机器人自主性的关键。,SLAM基本概念,未知环境 指机器人没有先验知识的环境 室内、室外均可 简化 环境物体为静态刚体 机器人是环境中唯一能够运动的实体虽然有些过于简单，但是早期SLAM系统确实是建立在这些简化的假设之上。,SLAM基本概念,SLAM研究的现状？ 定位+建图基本理论已经成熟 若干经典的实
3、现方案 正在开始应用到市场习大大：要把我国机器人水平提高上去，尽可能多地占领市场。2014年两院院士大会,SLAM基本概念,SLAM基本概念,SLAM基本概念,SLAM发展历程,SLAM发展历程,史前： -1990 EKF主导时期： 1990-2005 BA转型时期： 2006-2010 前沿： 2010-,SLAM发展历程,史前：-1990 未形成SLAM概念 仅在地图已知的情况下研究定位问题例 Leonard90, Leonard91 根据已有的标记物进行定位 已知地图,SLAM发展历程,EKF主导时期：1990-2005 1986-1990. Smith86Smith90 首次清楚地定义
4、Localization+Mapping问题 提出以EKF模型求解SLAM，成为后十五年SLAM问题的主导模型EKF的优势 对定位与建图中的误差进行建模 同时考虑两个问题 模型简单，易于实现,SLAM发展历程,早期EKF SLAM举例： Leonard91, Castellanos98, Davison98, Newman99 Castellanos98:Mobile Robot Localization and Map Building: A Multisensor Fusion Approach, PhD Thesis, 1998.,Sensor fusion: 图像+Laser EKF框
5、架 Laser为主的定位,SLAM发展历程,21世纪：视觉SLAM的开端 Davison98,Davison03,Se02,Chiuso02 Se02: Mobile Robot Localization and Mapping with Uncertainty using Scale-Invariant Visual Landmarks, IJRR, 2002. 双目相机，特征点运动估计，EKF框架 *作者在04年提出了SIFT特征，但在02年已经应用于机器人系统了。,SLAM发展历程,21世纪：视觉SLAM的开端 Davison03:Real-Time Simultaneous Local
6、isation and Mapping with a Single Camera, ICCV, 2003 单目相机，EKF框架 最早的实时SLAM系统，成为之后许多单目系统的鼻祖 *Davison本人也是业界传说之一，领导帝国理工大学的机器人视觉组做出了很多前沿贡献。,SLAM发展历程,EKF局限性 线性化假设 平方复杂度数百个特征和姿态点 稀疏路标地图 滤波器的时间串行性质(sequential nature) 对数据关联敏感 难以实现闭环改进 其他滤波器：PF, RBPF, IF, UKF, etc. BA方法：2006以后,SLAM发展历程,滤波器思路的改进 粒子滤波器(PF)及RBPF
7、 Grisetti07. Fast and accurate SLAM with Rao-Blackwellized particle filters, RAS, 2007. Sim07. A Study of the Rao-Blackwellised Particle Filter for Efficient and Accurate Vision-Based SLAM, IJCV. FastSLAM Montemerlo02 FastSLAM: A factored solution to the simultaneous localization and mapping problem
8、. AAAI. Hahnel03. An efficient FastSLAM algorithm for generating maps of large-scale cyclic environments from raw laser range measurements. IROS. 分治EKF Paz08. Divide and Conquer: EKF in O(n). TRO, 2008. 其他 参见Chen12,SLAM发展历程,BA转型时期: 2006-2010 根本上不同于滤波器的框架 什么是BA (Bundle Adjustment) ? 优化所有帧位姿约束的误差 起源于摄
9、影几何，2000年引入Structure from Motion(SfM) Triggs00 SfM代表性工作：Building Rome in one day Agarwal09.,SLAM发展历程,2006-2010 发现SLAM和SfM中许多共同点 将BA引入SLAM，并成为Visual SLAM中的主导方法 代表性工作 PTAM: Klein07. Parallel tracking and mapping for small AR workspaces, ISMAR. Visual SLAM里程碑式工作 单目, BA框架, 虚拟现实 提出以不同频率求解定位与建图，用两个单独的线程处理
10、之；,SLAM发展历程,2006-2010 代表性工作 FrameSLAM Konolige08: FrameSLAM: From Bundle Adjustment to Real-Time Visual Mapping, TRO. 只保留位姿约束，特征只用于帧间匹配，在大范围内进行SLAM,SLAM发展历程,随着BA进一步应用，研究者们开始讨论滤波器与BA的优劣。 Strasdat12: Visual slam: Why filter? Image and Vision Computing. 认为在单位计算量前提下，BA方法能得到更多有效的信息,SLAM发展历程,前沿研究：2010至今 日
11、益成熟的系统与软件 RGBD-SLAM-V2: Endres14. SLAM+: Salas-Moreno13. LSD-SLAM: Engel14 ORB-SLAM: Mur-Artal15. SVO: Forster14 Kinect Fusion: Newcombe11 DTAM: Newcombe11 Dense Planar SLAM: Salas-Moreno14 OpenRatSLAM: Milford10 G2O: Kummerle11 SBA: Lourakis09 iSAM: Kaess09,SLAM发展历程,前沿研究：2010至今 丰富的传感器 单目相机 双目/多目相机
12、深度相机(RGB-D) 全景相机 2D 转轴雷达 可穿戴设备 GPU SLAM,SLAM发展历程,前沿研究：2010至今 复杂的环境 非特征点SLAM：Rao12, Salas14 动态环境：Einhorn14, Yangming13 多机器人协作：Zou13, Balzer13, Maddern12 长时间SLAM：Tipaldi13, Bacca13 语义信息：Cadena14, Siagian14, Fioraio13 拓扑/网格地图：Besson10,SLAM发展历程,过去 Where am I? 定位 What is around me? 建图 现在 What I can do wi
13、th it?,SLAM发展历程,What I can do with it? 过去：静态、刚体的环境基本解决 现在的环境 人员密集 柔性物体 运动物体 动态光照 理解环境内容,我的研究工作,我的研究工作,传感器信息处理 回环检测 语义场景理解,我的研究工作,传感器信息处理 方法：基于平面特征点的RGB-D SLAM. Xiang Gao, Tao Zhang, Robust RGB-D simultaneous localization and mapping using planar point features, Robotics and Autonomous Systems, Vol.
14、72, 1-14, 2015 特点：针对Kinect特性对点云进行了预处理 结论：平面点特征能更准确地估计运动,我的研究工作,回环检测 方法：使用层叠编码机(SDA)检测图像相似性 Xiang Gao, Tao Zhang, Loop Closure Detection for Visual SLAM Systems Using Deep Neural Networks, CCC, 2015 Xiang Gao, Tao Zhang, Unsupervised Learning to Detect Loops Using Deep Neural Networks for Visual SLAM System, Autonomous Robots, Under Review. 特点：自动学习图像特征，计算相似性 结论：学习的特征能够有效地检测闭环,我的研究工作,回环检测,我的研究工作,语义场景理解 方法：使用条件随机场生成带标记的地图 绿: Ground 青: Structure 紫: Furniture 蓝: PropsProblem: 场景理解针对单张图片，而SLAM是运动过程，如何结合？,我的研究工作,其他 科普性质工作,我的研究工作,未来的研究问题 GPU加速SLAM 动态场景运动分离技术 主动SLAM：SLAM+Exploration,谢谢大家！,
