1、南京云创大数据科技股份有限公司1物联网私有云平台系统解决方案南京云创大数据科技股份有限公司2目录第一章 背景 .31.1 挑战 31.2 机遇 3第二章 需求分析 .42.1 现状分析 42.2 需求分析 4第三章 方案设计 .53.1 总体规划、分步实施 53.2 立足现状、稳妥推进 53.3 滚动推进、持续改进 .53.4 重点突出、以点带面 .5第四章 方案设计 .64.1 物联网私有云系统架构 64.1.1 系统架构 64.1.3 系统数据流程 74.2 方案详细设计 74.3 数据传输 84.4 数据规则引擎（定制） 94.4 数据存储 104.5 数据分析处理 104.6 前端 w
2、eb 展示 .114.6.1 物联网私有云平台搭建 114.6.2 用户中心 194.6.3 日志及报警审计 224.7 数据安全 244.7.1 用户数据隐私 254.7.2 访问许可验证 254.7.3 用户数据分离 264.7.4 攻击防范机制 264.7.5 丰富的智能硬件接入方案 26第五章 案例解析 .265.1 成功案例 265.2 方案优势 28南京云创大数据科技股份有限公司3第一章背景1.1 挑战物联网是指利用传感技术、RFID 标签、嵌入式系统技术等，将各种信息传感设备与互联网结合起来而形成的一个巨大的网络，其目的是将所有物品与互联网连接在一起以用于识别和管理-也就是目前国
3、内市场热炒的“互联网+”的概念的一种具象化表现。物联网应用行业为多学科，多领域交叉产业，涉及智能交通、环境保护、政府工作、公共安全、平安家居、智能消防、工业检测等等。随着市场经济的不断发展，市场对物联网行业的以来也越来越大。我国于 2009 年 8 月提出“感知中国”以来，物联网被正式列为国家五大新兴战略性产业之一，在中国受到了极大的关注。据预测，2020 年全球物联网产业产值将是互联网的 30 倍，仅中国物联网产业产值将超过 5 万亿。目前，我国已形成从材料、技术、器件、系统到网络的完整产业链，物联网产业规模已达数千亿的规模。虽然市场前景较好，但目前针对国内企业，物联网应用也面临着相当的困局
4、，例如：企业内部生产业务与物流管理上下脱节，缺乏基本的信息互通及共享；目前大多数企业依然为劳动密集型企业，整个生产过程缺乏智能化管理（缺乏智能物料控制、生产设备监测，生产流程优化控制等） ；产品售后服务追踪机制缺乏，导致用户感知较差；1.2 机遇机遇 1 加速发展机遇通过建设现代化企业物联网管理体系来加速企业的发展，包括产品生产环节、成本控制环节、绩效优化环节、产品流转环节、产品售后环节等整个企业各部门。机遇 2 管理机制提升机遇在通过技术手段建设工作效率体系的前提下，从管理机制上进行一次变革。从而建立“技改+人改”的双效管理体系，从根本上改变原有的企业滞后、拖沓的现状。机遇 3 服务提升机遇
5、南京云创大数据科技股份有限公司4通过建立企业物联网私有云管理体系，提高整体人员的精神面貌，从而“曲线救国” ，提升企业整体服务质量，提高用户感知，也在一定程度上降低企业成本。第二章需求分析2.1 现状分析目前，物联网应用在企业中的应用相对较少，但同时，在企业整个运转过程中又面临着一些共性的问题，具体困扰归纳如下： 企业内部生产业务和物流管理与企业上、下游及社会协作单位进行协同工作时缺乏有效及时的沟通渠道或方式，从而变相的增加了工业生产的成本。 工业产品生产过程不可控，给企业决策层决策带来一定的困扰。 产品生命周期缺乏管理和跟踪，产品质量也缺乏有利保障，各生产环节涉及的生产设备时时运转情况不明，
6、增加设备维护费用。 产品生产过程中产生的污染物缺乏有效控制，增加企业环控成本及政策成本。 整个工业生产过程安全性得不到基本保障，无法做到“安全生产” 。2.2 需求分析针对国内企业基本框架性需求，大致归纳成“5 化” ，现状解析如下： 生产业务协同化整合现有的工业生产流程，实现整个流程的优化控制，实现企业内部及企业与企业之间的业务协同化，从整体上提升工业生产效率。 生产过程智能化用物联网私有云机制时时监控生产过程的设备状态、物料消耗及产品质量，通过生产过程的智能监测、控制、优化和决策，实现企业生产智能化。 产品服务网络化将智能传感穿插到产品设计和生产的整个生命周期中，促进企业从生产制造型向制造
7、服务型转变。南京云创大数据科技股份有限公司5 节能减排标准化通过对生产过程中各个环节污染物的监测、控制和管理来减少污染物的排放，同时防止突发事件的发生，降低企业环控成本及政策成本。 工业生产制度化将智能传感技术嵌入到危化品存储、生产、运输（包括生产危化品的工作车间等环境）等各个环节，提高作业人员安全及作业设备的安全稳定性，防止突发性灾难事故的发生。第三章方案设计3.1 总体规划、分步实施根据目前企业网络环境、硬件配置、软件系统、人员技能水平、实施力量、数据和应用等方面状况，既要从整体上统筹安排近期、中期和最终目标，又要从细节上有目标、有侧重的一步一步推进，并对计划执行情况进行跟踪考核。3.2
8、立足现状、稳妥推进在充分利用企业现有资源的基础上充分考虑总体实施规划和现有系统的关系，需要经过充分论证，按照“5 化”的总体规划稳妥推进。3.3 滚动推进、持续改进通过试点（分厂）部门的使用，供应商将汇同新疆电信不断对该系统进行改进，完善功能，最大限度地满足实际业务需要。同时，在整个信息化推进过程中，必须紧紧抓住主线、突出重点。3.4 重点突出、以点带面该项目涉及部门较多，不可能同时实施所有系统。建议选择试点部门，优先实施核心系统。在实施过程中，还应不断总结经验和进行改进，为全面的系南京云创大数据科技股份有限公司6统推广做准备。第四章方案设计4.1 物联网私有云系统架构4.1.1 系统架构根据
9、国内现有企业基本现状，结合行业一流物联网云平台设计经验，设计物联网私有云平台基本框架如下：系统架构说明： 智能硬件-各类型前端数据采集终端； 智能硬件数据直通接口-平台提供 TCP/IP、HTTP、MQTT 方式接入设备数据，同时可提供协议转换器以帮助其他协议的设备接入平台； 用户数据管理服务-主要指用户账户信息、用户设备信息等； 用户应用管理服务-主要指租户用户的各种应用数据； 数据应用编程接口及开发包-应用端 Java、Python 等语言版本的API； 数据安全服务逻辑-平台提供安全可靠的数据服务，提供端到端的加密服务，提供设备数据入库的验证服务，提供设备的安全码验证服务等安全措施以保障
10、平台的数据安全可靠。 南京云创大数据科技股份有限公司7 数据服务业务逻辑-让数据服务于业务，系统通过对客户大量业务数据的分析，总结出该企业经营的业务的特点，从而为降低成本，加速业务增长，提高利润，为企业突破创新发展提供支撑； 大数据平台产品门户网站-提供传统的 web 方式展现平台内的数据分析的结果，同时提供平台管理的入口，如设备的管理，人员账户等基础信息的管理。4.1.3 系统数据流程根据物联网私有云平台系统架构设计原理推导出的系统数据流流程图如下：4.2 方案详细设计基于物联网私有云平台方案将整体系统分为数据传输收集传输、规则引擎、数据存储、数据分析处理、前端 web 展示四部分组成。南京
11、云创大数据科技股份有限公司84.3 数据传输基于物联网私有云平台系统向用户提供一个简单易用的智能硬件数据接入、存储和处理以及数据应用一站式数据分析处理展示服务平台，旨在降低物联网数据应用的技术门槛及运营成本，满足物联网产品原型开发、商业运营和规模发展各阶段的需求，特别是物联网项目初创团队和中小规模物联网项目的公司的需求。数据采集特点物联网私有云平台提供快捷方便的硬件接入方式，支持支持主流物联网设南京云创大数据科技股份有限公司9备通讯协议 TCP/IP、 HTTP 以及轻量级通信协议 MQTT，支持 JSON 数据格式协议，数据上报使用了间断式连接，大大降低了设备上的代码足迹和及数据带宽和流量。
12、物联网私有云平台系统支持： 后台服务器（8 核 16g 内存）带机量 1000 个网关，最大 2w 个测量终端, 每个点平均 20 个网关； 前端服务器，手机同时在线量 2000 到 6000； 高并发、低延迟设备数据提交 根据用户需求开放支持第三方硬件设备接入和数据提交的定制方案 设备规模支持可按需弹性扩展数据传输对应的后台服务器支持负载均衡、高可用，支持第三方协议接入、设备 GIS 信息管理（此需求非普适性需求，若用户对此方面有明确要求，需要进行定制化，在强化系统功能的前提下也将产生相应的费用） ；4.4 数据规则引擎（定制）规则引擎基于云端的智能，可以实现基于几乎任何行为或场景的触发机制
13、，并且能够让用户通过电子邮件、短信或推送获得事件被触发的通知；物联网私有云平台拥有前置和后置规则引擎，可根据用户可自定义的规则设置预警机制，通过邮件短信或手机端 app 推送预警通知。物联网私有云平台规则库引擎为选配单元，用户可根据实际情况进行选配。南京云创大数据科技股份有限公司104.4 数据存储物联网私有云平台管理系统后台数据存储部分采用海量分布式设备数据存储和处理机制，主要负责存储大部分平台数据，包括结构化非结构化数据、各应用数据等；现有配置支持海量数据存储（包括冗余容错） ，可随时按需热部署及在线扩展。现有规模可支持 50,000 租户，每租户可运行 10 个应用项目。物联网私有云平台
14、存储主要优势： 用户应用数据隔离存储； 针对智能传感器的数据特点进行存储和查询优化； 分级缓存入库存储机制，高速查询应用和设备最新数据； 满足应用数据优先和设备数据优先不同的数据应用模式； 内置数值类数据常用的数值统计和计算功能；数据存储主要特点南京云创大数据科技股份有限公司11数据存储支持高可用性及集群需求，可根据用户不同需求进行按需定制（根据用户实际需求做有偿定制服务） 。4.5 数据分析处理物联网私有云平台采用开放性平台架构设计，可根据中心存储数据进行海量数据集中高效处理分析。单台数据应用服务器可支持 200 并发数据查询，可弹性规模扩展；数据查询响应达到秒级：1,000 条数据查询典型
15、返回结果时长 1 秒。基于开放性平台架构的设计能够满足广泛的第三方接口需求，且公司提供第三方应用端 Java 版 API（API 分为基本接口、对外扩展接口及应用实例三大类）： 支持跨平台数据调用 11 种基础数据服务接口 +扩展数据应用接口 Java API 及 SDK， Python API 及 SDK HTTP 通用快速数据服务接口1、数据处理引擎支持高可用性及集群需求，可根据用户不同需求进行按需定制（根据用户实际需求做有偿定制服务） 。2、根据用户不同需求，部分用户提出开发移动端 APP，在 APP 上进行设备注册、时时信息查看及接收报警信息等模块的需求，由于此需求非普适性需求，但基于
16、用户思维及平台的开放性原则，可根据用户实际需求做有偿定制化开发。4.6 前端 web 展示基于物联网私有云平台，前端 web 为直面用户界面，用户的大部分操作及数据汇总展示都通过此平台进行呈现。Web 界面主要模块包括：基础物联网私有云平台的搭建、用户中心、日志及报警审计三个模块。南京云创大数据科技股份有限公司124.6.1 物联网私有云平台搭建搭建私有物联网私有云平台您只需要 4 步即可完成1、私有云搭建 -用户注册物联网私有云是针对企业用户专门设计的一体化私有云产品。它集软硬件于一体，基于云创自主研发的云存储核心技术，为用户的关键数据提供安全保障；数据副本机制等保障部分硬件损坏的情况下用户
17、的数据不丢失、服务不中断； 私有云后台存储体系采用三机容错技术，任意损失一台服务器，还会有两台服务器容错工作，再损失一台，也不会丢失数据，从而给企事业单位提供一个放心保存数据的地方。另外，个人用户都喜欢使用云盘服务，如百度云盘、360 云盘等。数据存放在云盘，安全性很高，而且不管通过什么设备都可以访问自己的数据，分享给别人也很方便。但单位的数据一般不敢放在公有云的云盘里，物联网私有云不仅可靠，还支持云盘功能，大大方便单位集中共享存储和访问数据。物联网私有云平台提供租户用户自主注册设备功能，并支持用户账户与应用绑定功能，主体示意图如下：南京云创大数据科技股份有限公司13用户设备自主注册页面安全凭
18、证绑定页面 云盘功能为选配功能，可根据用户实际需要做有偿服务。 私有云支持高可用及集群设计，可根据用户需求做定制南京云创大数据科技股份有限公司14 私有云平台支持负载均衡，为选配模块2、创建应用物联网企业搭建好私有云平台之后，专有管理员（超级管理员帐号）账户存留在企业管理人员手中。专有管理员创建租户管理员帐号，并将此帐号分配给租户管理员。物流各环节所属部门或第三方合作单位拥有租户账户，租户账户用户创建各项应用的权限，每项应用为各部门日常应用或关键应用。私有云平台可支持用户创建和运行多个用户应用，应用间设备和数据各自分离。租户用户登陆后进入自己的主页，在页面左侧选择我的应用，然后点击创建应用按钮
19、。然后根据页面提示填写信息，这里需要注意的是填写的应用名称一旦保存后将无法修改。用户创建好应用后可以在我的应用模块中看到自己所创建的应用。具体流程如图所示创建应用选择中我的应用，然后点击创建应用按钮南京云创大数据科技股份有限公司15填写应用的相关信息用户创建应用时，平台已为用户自动创建了两张表，即数据表和设备表，用户可根据应用需求：1）在预建表的表结构中添加自定义数据字段2）根据应用业务逻辑创建自己的数据列表3、添加硬件在应用中心的设备管理界面下，租户用户添加数据设备可以通过两种方式：1）在应用的设备表中建立一天数据设备记录。具体操作如下选择设备管理一项，点击添加按钮即可添加设备，按照页面提示
20、填写内容并保存。接入服务选择已添加的服务协议，目前平台支持的协议有三种HTTP、 MQTT、TCP。如图所示南京云创大数据科技股份有限公司16添加硬件设备2）通过 Excel 工作单批量导入数据设备点击批量导入按钮，选择租户用户已经整理好的 Excel 设备信息表，然后上传即可。通过 Excel 工作单批量添加设备的图示流程如图所示批量导入设备南京云创大数据科技股份有限公司17Excel 配置信息示范数据设备在向平台上传应用数据之前，需要根据硬件设备数据服务协议中定义的方法进行设备注册。并获取安全验证凭证，用于后续数据提交。所谓的设备注册其实就是向平台发送设备自身相关信息，以期待从平台那里获取
21、该设备的注册码，然后设备发送业务数据时都将携带该注册码用于区分到底是哪一台设备发送的。也极速提高了日后用户查看该设备的数据时查询的效率。进入设备注册和数据模拟界面南京云创大数据科技股份有限公司18设备注册4.查看数据用户可在用户中心指定应用下的应用数据分页页面上：1）实时查看设备数据入库情况，2）查询指定时段的设备入库数据，3）通过可视化界面查看指定字段的时段平均值。点击应用数据，就可以查看到应用下所有设备的最新数据，页面中有两个按钮一个是自动刷新按钮，点自动刷新按钮，即可实时提查看数据的更新情况，默认情况下是每 30 秒刷新一次，还有一个入库图示按钮，点击它即可以查看应用数据在过去时间段的入
22、库统计情况，同样默认的时间间隔是以一个小时为单位进行统计。同样点击相应时间段内的柱状图即可查看该时间段内所有设备的入库情况。如图所示：南京云创大数据科技股份有限公司19查看应用下最新数据查看过去时间段内应用下设备的入库情况南京云创大数据科技股份有限公司20查看某段时间内应用下所有设备的详细入库情况查看设备在某段时间内的详细数据信息用户可在用户中心指定的应用下的设备管理分页页面上：4.6.2 用户中心物联网私有云平台系统用户管理模块采用角色分类、分级管理、分级授权，自动继承的模式。用户角色（体现分级管理思想）分为：系统管理员（平台管理员） 、管理员（租户管理员） 、操作员（租户下属操作员） ；系
23、统管理员权限：创建及禁用节点管理员（租户管理员） ，设置节点管理员南京云创大数据科技股份有限公司21（租户管理员）账号访问权限、访问所有应用下所有设备等；管理员（租户管理员）：创建及删除租户管理员下属节点的用户，更改重置个人及子节点用户信息、访问所属节点下所有应用的所有设备等；操作员：查看所属节点下所有应用对应的所有设备，更改个人用户密码等；权限分类为：全部应用下全部设备的访问权限；指定应用下的全部设备的访问权限；指定应用下的部分设备访问权限；系统管理员（平台管理员）授权租户管理员界面：系统管理员管理节点管理员界面截图：节点管理员（租户管理员）访问权限示意：南京云创大数据科技股份有限公司22节
24、点管理员（租户用户）应用管理：节点管理员管理设备：节点用户设备楼宇地形图展示：南京云创大数据科技股份有限公司234.6.3 日志及报警审计物联网私有云平台系统日志及报警审计模块以智能分析，集中展示为设计思想，主要包含一下模块： 平台汇总信息总览（所属节点及所属子节点信息汇总） 应用信息汇总 单项应用信息汇总 设备信息汇总 设备凭证信息 用户统计信息（包含子节点用户信息） 设备数据日志信息 数据导入导出 报警审计信息 日志及审计信息数据存储及备份可根据实际需要选择存储及备份时间（1 个月、6 个月、1 年等） 南京云创大数据科技股份有限公司24平台信息总览：应用信息总览：单项应用信息总览：南京云
25、创大数据科技股份有限公司25数据导出：用户设备报警信息根据用户实际需求做定制化呈现，再次不做过多展示。4.7 数据安全数据安全是物联网私有云大数据平台的先期保障。如何做好数据的安全保障工作，成了业界首要解决的难题。南京云创大数据科技股份有限公司26物联网私有云平台系统数据安全采用多层次安全检验及访问权限控制等手段来实现数据安全保障。数据安全机制： 应用数据隔离：用户各应用数据相互隔离，无数据交叉； 数据副本机制：应用数据采用副本存储机制，确保数据不丢失； 访问权限控制：各用户（不同权限的用户）访问指定范围内的指定应用； 企业级防火墙：数据存储安全防护第一道墙； 数据访问认证：数据访问采用数字认
26、证机制； 数据共享选项：有限权限数据共享机制； 设备数据验证4.7.1 用户数据隐私物联网私有云平台承诺绝不会将租户用户的数据用作任何用途，租户用户的数据仍然归用户所有，租户用户将数据迁出物联网平台后，物联网私有云平台不保留任何副本。4.7.2 访问许可验证面对数据处理服务的请求，物联网私有云通过使用 AccessID/AccessKey南京云创大数据科技股份有限公司27对称加密的方法来验证发送请求的用户身份。AccessID 用于标示用户，AccessKey 是用户用于加密签名字符串和大数据平台用来验证签名字符串的密钥。平台根据对称验证结果决定接受或拒绝服务请求。4.7.3 用户数据分离物联
27、网私有云平台对所有权限用户数据的建表构建采用用户名+实例名+表名的方式，在数据访问时如果表名中的用户名和发出请求的用户名不匹配，服务请求会被拒绝，通过这种方式保证用户只能对自己用户名下的数据资源进行读取和操作。4.7.4 攻击防范机制物联网私有云平台系统内建了基本的攻击监测及防范措施。异常的服务请求如过于频繁或参数数据超大的 HTTP POST 请求会导致服务被拒绝。4.7.5 丰富的智能硬件接入方案物联网私有云平台支持主流的数据格式协议和通讯协议，主要是 HTTP 和MQTT 协议，物联网私有云平台设计成的物联网智能设备通过无线网络将数据可靠传输到平台服务器，为用户提供一个涵盖数据采集、可靠
28、传输、大数据存储和处理的完整解决方案。第五章案例解析5.1 成功案例PM2.5 大数据监控平台案例目前已在多个城市大规模部署的 PM2.5 云监测平台传感网系统，配合现有的环境监测站点，可准确、及时、全面地反映空气质量现状及发展趋势，为空气质量监测和执法提供技术支撑，为环境管理、污染源控制、环境规划等提供科学依据。 南京云创大数据科技股份有限公司282015 年底将扩展至 10,000 套以上以不同协议接入的 PM2.5 传感器单元，监控范围覆盖全国绝大部分地区。基于万物云的大数据服务平台很好地满足这个监控平台上的所有海量异构的传感器数据存储需求，并提供强大的准实时数据处理能力。平台支持通过
29、WEB 页面和手机 APP 的方式，显示相关数据。例如：我们的 PM2.5 传感器通过平台展示提供 web 访问和手机 APP 展示，提供实时查看所在地街道的生态环境质量，提供及时举报破坏生态环境的违法行为功能，让公众居民感受到既是生态环境的享受者，也是保护生态环境的保护者。通过 WEB 页面可以访问到相关的数据。Web 的数据展示图：通过手机 APP 的方式进行访问。通过手机 APP 的数据展示图：南京云创大数据科技股份有限公司295.2 方案优势 面向物联网智能硬件大数据的一站式存储处理托管服务平台 提供海量物联数据存储空间、数据托管处理服务 便捷部署、统一管理、高效应用，支撑高性能高吞吐量高并发 连接万物-提供开放的硬件接入服务 支持 HTTP/MQTT/TCP 或第三方硬件接入协议 高效平台-海量数据分布式存储和处理 海量数据存储和实时处理，高可靠备份，具备在线伸缩能力 通用接口-物联网数据服务和应用编程接口 支持 HTTP 通用数据服务接口、跨平台应用编程接口 简单易用-快速完成部署、数据随时调用 免费注册，提供全面技术支持文档，便捷部署
