1、目录Contents 01 概要介绍02 架构设计03 功能介绍04 关键技术05 经典案例背景XX市交警支队信息化发展非结构化数据比重会越来越大交通监控设备（ 118个路口电警、 217处监控、 30处卡口及测速）目前每天可达 1TB级，随着今年我市智能交通三期工程和国省道高速公路安全防控系统的（三维地图）建设，日产生约 600万张车辆图片全市去年办理机动车业务 197.553万笔、驾驶证业务 114.424万笔、交通违法业务 378.8717万笔、发送告知提醒短信 467.286万条、每月交通事故警情 9400起，去年全市交警系统回访总量 497.3025万 随着 我国国民经济的持续快速发
2、展以及城镇化进程的加快，城市机动车数量近几年大幅增加。交通拥堵、交通污染日益严重，交通事故频繁发生，这些都是各大城市亟待解决的问题。 各采集终端积累了海量数据，如何将非结化数据结构化，对海量数据进行分析，应用到公安交通管理工作，是目前急需解决的问题？大数据时代解决方法基础手段方法指导牵引交警大数据平台建设目标建设满足 实际应用 和 管理需求 的 交警大数据平台 。持续 提升交通感知智能化水平，完善网络化的交通状态感知 体系01加强 交通数据标准化建设，进一步整合数据资源。严格按照 山东省公安大数据中心卡口数据引进工作规范 02提供 实战工具集，牵引警务模式变革，丰富民警的破案 手段03创新 交
3、通大数据分析应用，实现基于大数据技术的交通系统高效运营和 管理04建立 基于大数据分析的新一代智能交通信息服务系统，改善和提高公众出行的智能化服务水平05构建 并完善智能交通技术创新体系，加强交通信息服务产业化 进程06建设原则 标准规范统一的规则平台架构、数据库模式、平台数据 满足部、厅标准规范 ，平台能无缝对接省厅数据中心，严格按照 XX省 公安大数据中心卡口数据引进工作规范 ，实现本地数据实时上传省厅数据中心。平台采用的数据、协议、数据接口等要符合国家和公安部制定的标准规范，全面采用通用的标准化产品，提高系统可靠性和通用性。 共享开放原则平台 能满足 各级公安机关 、 各警种 乃至民警个
4、人数据开发和服务应用需求，通过灵活多样的数据服务 或 Webservice方式，提供全方位数据服务支撑，更好的利用大数据优势助力各项业务工作。 安全保密原则平台具备科学的制权访问策略，完善的综合审计功能，确保数据安全性。按照 公安部制定的信息共享内容、范围、方式和规定 ，以及对保密和敏感信息的使用办法，明确信息提供方和使用方的责任、权利和义务，实现统一的共享管理机制。 数据权威、海量、丰富的原则整合 全市各卡口、电警信息资源，构建 数据覆盖面最广、总量最大、运算能力最强 的权威核心卡口云数据中心。优势依托卡口云管控平台达到 降 事故、保畅通、服务决策、引领 实战 的目的，最大限度指导交通管理工
5、作。同时又向 公安其它警种（治安、刑警、经侦、技侦等）提供实战工具集 ，丰富了办案手段，提高了办案效率、节省警力资源，最终达到牵引警务模式的变革。建设符合前沿技术趋势的大数据实战 平台。 运用 大数据、云计算方法，挖掘出隐藏在数据里的内在规律 。 可以实现亿级数据的搜索秒内反馈 、亿 级数据在线分布式计算秒级 反馈。满足实战的“实时”需要，争分夺秒、聚力办案。全方位整合，建设公安交通大数据 资源。整合 交通卡口与治安卡口共 600多路，整合六合一平台、智能交通、人口信息、社保信息、全国被盗抢黑名单等公安内外部、社会资源数据。采用图侦技术，将每天产生的 350多万幅电警和卡口的过车图片进行二次识
6、别，将非结构化的过车数据转化为号牌号码、车辆类型、车辆品牌、车辆子品牌、车辆 颜色、年检、实习标、纸抽、遮阳板等特征信息，实现 以图搜图功能 （特征搜车）， 实现隐匿车辆的侦破。目录Contents 01 概要介绍02 架构设计03 功能介绍04 关键技术05 经典案例平台架构数据中心在整体大数据规划中处于基石地位，为大数据的深度应用提供了坚实支持。因此在进行数据中心建设过程中要有前瞻性，不光要着眼现阶段的要求，更要进行远景规划，考虑到大数据数据源种类的增加导致存储的动态扩充、大数据应用的横向扩展等因素 。数据仓库架构数据仓库中心是在遵从省厅警务云架构设计理论的基础上，结合本地公安的实际情况，
7、建设的集业务数据统一接入与转换存储、数据质量统一管控、数据统一共享应用的一体化信息基础平台，它的建成将实现以“全警应用，全程贯通”为目标的数据全共享。Hadoop技术架构图Cloudera 优势顶级专家团队 由 几家世界顶级 IT企业前雇员创立客户群 全行业客户（金融、电信、零售、能源、互联网等）， 数千家 企业客户，付费客户中 超过 60%为世界 500强 客户成功 案例 全球范围内 数百项成功实施案例最大生态系统 超过 1300个合作伙伴培训和认证 超过 100,000管理员、开发者受训；最有价值的 大数据证书开 源领导者 Cloudera是无可争议的 Hadoop开源社区 领导者和贡献者
8、Cloudera首席架构师为 Hadoop之父 ： DongCutting国内的领导者 目前 Cloudera在国内的免费 Hadoop市场 上占有率为 84%， 占有率排名第一 ！Cloudera与其他 Hadoop发行商对比1. Cloudera是做 Hadoop开发 的，其他厂商仅仅是做 Hadoop集成2. 和 Hadoop trunk最快的同步， 保证业务的向前兼容性 ；其他厂商是 Hadoop上做的定制优化或修复，无法保证兼容性3. 所以组件的 开发和专业支持能力 ，其他厂商也仅仅是根据 Cloudera包含的版本进行集成，缺乏问题的修复和专业支持能力4. 性能优势明显， 比其他
9、开 源 Hadoop版本的性能提升 10x100X行业成功案例Financial &Business ServicesTelecomTechnologyHealthcareLife SciencesMediaRetailConsumerEnergyPublic Sector应用行业15总体技术架构拓扑图 暂时只接入市区数据 同时预留了县区数据的接入，以满足动态扩展架构需求接入数据源（ XX市）序号 业务支撑 接入数据源 数据量 相关功能模块1 卡口电警相关 过车记录表 5.13亿（日均约 300W）智能搜索（按品牌搜车、按类别搜车、按照片车）、实战工具 (包括出入城分析、行止规律分析、套牌车分
10、析、一牌多车、行车轨迹刻画、伴随车辆分析、轨迹反向刻画、踩点车辆分析、无牌车分析、人脸还原分析、相似车辆分析等 )2机动车相关六合一机动车信息表 402.51万 智能搜索（一车一档），统计分析 (强制报废明细、临界报废明细、机动车保有量统计、逾期未检明细 )3 机动车登记业务流水表 979.62万 统计分析（机动车注销数据统计、检验业务统计）4 机动车登记业务日志表 6869.68万 统计分析（机动车注销数据统计、检验业务统计）5 驾驶人相关 六合一驾驶人信息表 331.12万 智能搜索（一人一档、驾驶证查询），统计分析（驾驶人住所联系地址）6驾驶证相关六合一驾驶证业务主表 332.25万 智
11、能搜索（一人一档），统计分析（驾校受理人数统计）7 六合一驾驶证业务流水表 752.15万 智能搜索（一人一档），统计分析（驾校考试情况统计、驾校培训质量统计、驾校办结业务统计）8制证相关制证信息表 489.84万 统计分析（驾驶证业务抽查）9 准考证明信息表 20.68万 统计分析（驾校考试情况统计）10接处警相关六合一处警信息表 27.36万统计分析（ 122接处警事故统计分析），分析研判（ 122接处警分析）11 六合一接警信息表 23.30万12 六合一接处警反馈表 23.20万13交通事故相关一般事故 671.26万 分析研判（道路交通安全态势分析、交通事故分析等），智能搜索（一人一
12、档），统计分析（全市交通违法统计、交通违法行为综合统计）14 六合一简易事故 13.30万15 交通违法相关 交通违法信息表 1705.46万 分析研判（违法行为规律分析），统计分析（交通违法行为统计、交 通违法行为情况统计、非现场免执法计分统计）16 重点车辆 黄标车信息表 5.23万 统计分析（黄标车查询，车驾管黄标车业务办理统计）卡口数据汇聚 卡 口数据接入方式 ： 市区 卡口设备鉴于网络级层太多、不稳定的因素，不建议采用“数据直采”的方式，可以采用“服务器推送”方式 ，市区 卡口设备将数据首先推送 到智能交通平台中 ，再 由交警大数据平台进行主动抽取。 打通视频专网与公安内网，建立通信
13、链路 采用网闸设备实现数据传送数据传输方式数据引入实时性方案数据接入监听方式 采用消息队列进行数据接入和分发。解决如下问题：1. 使用“多队列”的方式解决 300万 /天的数据量接入 ；2. 实现 数据的实时接入 ；3. 为 后续系统多项服务和多个节点提供数据分发服务。目录Contents 01 概要介绍02 架构设计03 功能介绍04 关键技术05 经典案例功能架构功能架构一次识别经过卡口或电子警察系统进行的识别，识别对象的车辆号牌信息、车辆号牌颜色信息等，基于车辆号牌和车辆颜色信息，能够实现基本的违法行为辨识、车辆黑白名单比对报警等功能。二次识别针对一次识别后的结果进行二次甄别，其主要输出
14、结果包含车辆类型（可分为轿车、面包车、客车、货车等类），车辆品牌识别结果（大众、现代、奥迪、宝马、丰田等），车辆子类型识别（桑塔纳、帕萨特、宝来、伊兰特等等），车辆颜色识别（白、灰、黑、蓝等等）。随着社会的发展车辆的增加，人们对交通服务的要求越来越高，但目前基于卡口视频设备的一次识别信息已经远远不能满足需要。这就需要对卡口设备采集的信息做二次深入加工，从中获取更多的信息。车牌识别车型、颜色识别车辆识别车 型 识 别 模 块货 车 客 车 面 包 车 小 轿 车 两 轮 车车 辆 品 牌 识 别 模 块大 众 丰 田 现 代 日 产 雪 铁 龙 标 志 奇 瑞 宝 马奔 驰 奥 迪 别 克 长
15、城 长 安 福 特 马 自 达 车 辆 子 品 牌 识 别大 众 - 宝 来 大 众 - 捷 达大 众 - 桑 塔 纳 大 众 - 帕 萨 特 大 众 - 朗 逸 大 众 - 速 腾大 众 - 迈 腾大 众 - 辉 腾大 众 - 高 尔 夫 大 众 - P o l o 。 。 。 目前可识别的车辆大类型主要有以下四种：主要分轿车、客车、面包车、货车； 可识别常见的车品牌，包括大众、丰田、现代、日产、宝马、奔驰等等； 可识别的子品牌，包括大众系列的宝来、捷达、桑塔纳、帕萨特等等； 识别车辆颜色； 把识别信息入库进行分析处理。车辆二次识别 车脸识别 车尾识别车辆识别比选潍坊交警支队局方挑选卡口、电
16、警，白天、黑夜各 500张图片进行车辆识别比选，识别结果排名第一。济宁市公安局局方挑选的 10张、 100张、 1000张、 5张特征车辆进行识别比选，识别结果排名在第一序列（局方不进行惟一排名，只筛选头两家厂商）。与业内全国 一流 厂商多次进行比选碰撞（山东省内各家公司、省外各家公司）。车辆识别 _特征库 依据车辆二次识别获取的 基本特征 （品牌、子品牌、颜色、类型） 依据车辆三次识别获取的 局部特征 （年检标、实习标、纸抽、遮阳板、壁虎、车宠等） 通过三千维度模型建立车辆的 特征库 ，任意圈选车辆局部区域作为识别特征进行车辆搜索，以满足“以图搜车、特征搜车”的实战需要 大大提高特征识别识别
17、性能：特征比对（ 1秒）、结果反馈（ 5秒）工作平台个人 工作台是民警个人的进入系统的快速入口，个人工作台显示民警个人工作中最为关注的信息和常用的系统功能模块，使用个人工作台可以极大的提高系统使用的便利性。工作平台自定义个人信息公告信息卡口过车实时监控违章车辆实时展现预警信息我的收藏系统入口重点车辆重点驾驶人一车一档一 车一档 ，以车辆信息为主线建立车辆的 360全角度的档案信息。车辆档案信息涉及机动车登记信息、业务信息、车辆违法信息、同车违法、常住人口、事故信息、过车记录、执法检查站、短信发送记录、重点营运车辆、整改通知、执法服务回访、车辆检验信息等。一人一档一 人一档 ，以人员信息为主线建
18、立驾驶人的 360全角度的档案信息。人员档案信息涉及驾驶员基本信息、驾驶证信息、机动车信息、同证违章、常住人口、事故相关人、过车记录、检查站、短信记录、执法服务回访、考试信息等。以身份证号码为关联字段，整合驾驶人相关信息建立人员档案。可通过身份证号码、姓名进行搜索，搜索结果根据既定规则自动关联驾驶员基本信息、驾驶证信息、机动车信息、同证违章、常住人口、事故相关人、过车记录、检查站、短信记录、执法服务回访、考试信息等。所有人员的关联信息既可以以简要信息列表的形式展示又可以展示详细。智能搜车系统根据一线民警的应用习惯和搜索过程的指向性要求，提供了按品牌搜车、按类别搜车、按车牌搜车、按照片搜车等功能
19、。可以帮助民警在海量数据中实现嫌疑车辆的秒级反馈。根据车牌号通过 【 车辆登记信息 】 操作自动与“一车一档”进行关联。对比 传统搜索模式 大数据平台 搜索多信息源支持 只支持数据库内的结构化数据 主要支持文档信息、数据库信息、网站信息的收集搜索模式支持 精确匹配 关键字搜索内容摘要 固定内容摘要 固定内容摘要命中率低 搜索命中率较高信息关联 关联性低，只支持极少数字段的关联 信息智能相关性低，受关联记录数量影响较大信息分类聚类 数据分类展现形式单一 数据分类展现形式较丰富集成特性 定制开发 定制开发可扩展性 不支持 分布式部署支持扩展高可用定性 不支持 分布式应用支持高可用多语言支持 不支持 对中文支持能力较好0100200300传统架构 警务云平台平均查询时间大幅度减少检索时间提高 10倍！7310大数据平台
