1、,公共视频监控：我们能做什么？ （智能视频应用系统分析）,王崇骏 南京大学智能化信息处理研究组 2008-9-25,2019年2月6日1时29分,内容,现状 技术挑战 思路 我们的一些工作 总结,2019年2月6日1时29分,出于安防的原因，全省乃至全国监控网络建设蜂起云涌，其规模不可思议的庞大/而且还在继续扩大 道路/交通要道 车站/码头/机场/海关 重点闹市区 要害部门/岗位 ATM 门禁 千里眼,引言,2019年2月6日1时29分,设备有了数据有了：能做什么？ 人的监控 对特殊重点对象（重点人物、追捕对象等），进行跟踪、监视或追逃。 可与目前的人脸识别、指纹识别等生物特征身份鉴别系统结
2、合，为面向社会治安的监控、侦查破案提供新的手段。 物的监控 对车辆等移动物体的监控与识别 犯罪现场指纹以及其它模糊痕迹图像的处理 证据图像的鉴真和鉴伪,用途,2019年2月6日1时29分,国家安全需要 安全成为人们日益关注的问题 反恐、2008奥运 目前视频监控系统已经广泛应用 社会安全需要 人身安全，财产安全，交通安全 技术需要 传统监控的缺陷,凸现的意义,2019年2月6日1时29分,美好的愿望 “人、物”监控 糟糕的现实 视频监控投资力度不同导致监控设备质量不一 视频监控的本质VS期望有很大的矛盾 视频监控的技术导致了数据源的质量呈劣质趋势 视频监控的实施环境限制了很多技术的应用 ,问题
3、&挑战,2019年2月6日1时29分,例子-1,目标 车牌 车型 初步分析 自身质量 视频压缩/传输 运动补偿 光线 角度,2019年2月6日1时29分,例子-2,监控位置过多 显示屏数量 值守人劳动强度 目前方式方法 保存起来，事后分析 问题 实时响应 事后分析也是大问题,2019年2月6日1时29分,例子-3,鱼眼镜头 矫正失真 视角/光线 关键影响因素怎么办 其他镜头,2019年2月6日1时29分,例子-4,这个人是谁？ 身份认证命题 人脸 指纹 虹膜 视网膜 ,2019年2月6日1时29分,什么是目标 目标如何锁定 目标如何追踪都是问题,更进一步-如果,2019年2月6日1时29分,数
4、据源的问题 监控本身的问题 数据分析的问题,问题归纳,2019年2月6日1时29分,厂家太多、规约太多、不可回避的异构 数据采集设备的精度 压缩存储/传输的负面影响 被监控对象的特点 环境问题 ,数据源的问题,2019年2月6日1时29分,人类自身的弱点 人注意力的不集中性（人集中注意力低于每小时20分钟） 其他事物的干扰（电话，聊天等） 摄像头与监视屏的矛盾 随机抽取摄像头显示 一个监视屏轮流显视多个摄像头 监控人员的局限性 一个人监看多个显示屏 监控人员平均监看每个摄像头的时间低于每小时5分钟 被动监控 只能起录像作用，事故发生后才进行查验 大量视频图像的困难 太多视频图像不能被实时监控
5、视频存储的有限性（一周至一月）,监控自身的问题,2019年2月6日1时29分,目前的算法是在受限条件下进行的 图像恢复/增强 生物特征识别 人脸 虹膜 视网膜 步态 许多算法还在进一步研究中 有些问题或许就是NP或者不可解问题（至少暂时是）,数据分析方面的问题,2019年2月6日1时29分,2019年2月6日1时29分,劣质图像处理 智能视频分析 行为识别 身份认证 跟踪 ,思路-我们的想法,2019年2月6日1时29分,异构的 有统一的规约和开发环境 需要一些编解码的知识 不是我们的研究重点,视频流解析,2019年2月6日1时29分,目标： 提高视频图像的质量 思路： 图像增强/恢复 运动补
6、偿 超分辨率分析 ,劣质图像处理,2019年2月6日1时29分,目标： 智能分析 内容： 运动目标提取 异常事件的发现 目标识别 行为识别 ,智能视频分析,2019年2月6日1时29分,目标 提取出视频中的运动目标（前景） 方法 帧间差法 背景建模法 光流法 ,运动目标提取,2019年2月6日1时29分,非法闯入禁区 异常奔跑 打架 门禁尾随监测 聚众 物品遗留,异常事件的发现,2019年2月6日1时29分,感知设定区域内突然出现和入侵的物体并及时报警。 军事重地 银行 国家领导人，重要人物住所 涉抢防爆和剧毒化学等重点单位 水、电、气、核电站，油田,非法闯入禁区,2019年2月6日1时29分
7、,测试是否有可以人物在指定区域内快速运动 偷窃 抢劫 ,异常奔跑,2019年2月6日1时29分,检测是否有打假斗殴事件,打架,2019年2月6日1时29分,检测是否有人尾随通过门禁，发现即刻报警,门禁尾随监测,2019年2月6日1时29分,检测群体聚集、滞留,聚众,2019年2月6日1时29分,当环境出现物品遗留现象，即刻报警,物品遗留,2019年2月6日1时29分,特征提取 分类 人 车辆 其他,运动目标识别,2019年2月6日1时29分,前面提及的一些异常行为发现 根据运动目标的行动轨迹/习惯的捕获和分析预测其行为目的 特征提取 分类,行为识别,2019年2月6日1时29分,常规的身份认证
8、 监控场景下的身份认证,运动目标（人）身份认证,2019年2月6日1时29分,基于生物特征的身份认证 不被遗忘 防伪性能好 不易伪造或被盗 随身“携带” 随时随地可用,常规的身份认证,应用前景非常广阔,2019年2月6日1时29分,独具优势，但普及得并不理想 成本偏高 时间性能不理想 环境要求苛刻，可接受性较差 产品技术局限导致的应用领域受限制 监控场景下的身份认证 ,一些问题,2019年2月6日1时29分,RGB建模 步态建模 身高/体型,监控场景下的身份认证,2019年2月6日1时29分,根据已标记的运动目标运动轨迹和方向，调整摄像头的云台/焦距，从而达到锁定该运动目标的目的 运动目标标记
9、 随动控制系统 分布式协同,跟踪,2019年2月6日1时29分,视频接口 超分辨率分析 运动目标提取 异常事件发现（标注） 运动目标识别 运动目标（人）身份认证 跟踪,相关技术,2019年2月6日1时29分,运动目标提取 异常事件发现 一些算法的预研 一个原型,已经开展的一些工作,2019年2月6日1时29分,视频接口 使用标准、统一的摄像头、编码器 完善的视频解析、帧图像提取、存储（目录结构） 现有算法（实现）的验证、测试 预研算法的设计与实现 新的算法及方案 软件架构,下一步工作,2019年2月6日1时29分,劣质图像处理 运动目标提取 行为识别 步态识别 基于融合的身份认证 跟踪 软件实现,下一步工作-问题聚焦,2019年2月6日1时29分,长城漫道真如铁 而今迈步从头越,
