1、物 联 网基 础 架构： 设备接入与大数据分析Table of Contents云服 务 面 临 大 规 模 设备 接入挑 战新的解决方案： Event Hub服 务Event Hub 安全模型云服 务 面 临 大 规 模 设备 接入挑 战 可 变 速率 可 预 测 和不可 预测的突 发事件流的特性千 变 万化tInactivityPeriod Compute On and offOn and off workloads (e.g. batch job)Over provisioned capacity is wasted. tBurstsPeaks due to periodic incre
2、ased demandIT complexity and wasted capacity.Compute Halo 4 在 线 游 戏 数据（一周的 统计 数据）事 件 发 生率各式各 样设备 信息温控 传 感器每十五分 钟 上 报 一次数据智能汽 车 每分 钟 上 报 一次数据应 用的信息应 用的性能 监测 服 务 每秒 钟 上 报 数据到服 务 器移 动应 用捕 获 并上 报 你的每一次操作 !应 用和运 维 的信息Halo 游 戏 引擎每秒要 处 理 1,000,000消息事件的来源种 类 繁多1B智能 电视2.5B个人 电脑5B智能手机和平板 电脑10B物 联 网数据来源 : Gart
3、ner, IDC, Strategy Analytics, Machina Research, Company filings, BI Intelligence, Accenture analysis盈利模式1. 内容2. 设 备1. 设备2. 应 用1. 设备2. 应 用与服 务1. 垂直 领 域中的服 务2. 设 备MICROSOFT CONFIDENTIAL INTERNAL ONLYIoT的影响 力GridRenewablesOil/Gas/Coal Recovery and DistributionPointsof SaleRestaurantsHotelsFuelStationsP
4、atientsClinicsHospitalsNursingHomesMobileCareSafetySecurityComfortLightingAutomationManufacturing Integration and AutomationRemoteServicingPredictive and ReactiveMaintenanceWaterWastePollutionControlFireEmergencyPublicSafetyLaw EnforcementLettersPackagesContainersTanks BulkwareGamesEventsSportsTelev
5、isionStreamingTraffic BusesCarsTrucksTrainsVesselsAircraftBikes智慧能源智慧零售智能移 动智慧物流智慧工厂智慧城市智慧 娱乐智慧医 疗智能建筑/家居对 云服 务 的挑 战设备 接入服 务 必 须 能 够 支持 高并 发 性 (如超 过 百万 级 的并 发设备 接入 ) 高速率 (如每秒超 过 百万事件 ) 高吞吐量 (如每 100秒 处 理超 过 TB)同 时还 要支持 事件 缓 冲来提高可用性 持 久 性 低 处 理延 迟 高 安全 性最后 还 要价 格合理！GridRenewablesOil/Gas/Coal Recovery
6、and DistributionPointsof SaleRestaurantsHotelsFuelStationsPatientsClinicsHospitalsNursingHomesMobileCareSafetySecurityComfort LightingAutomationManufacturing Integration and AutomationRemoteServicingPredictive and ReactiveMaintenanceWaterWastePollutionControlFireEmergencyPublicSafetyLaw EnforcementL
7、ettersPackagesContainersTanks BulkwareGamesEventsSportsTelevisionStreamingTraffic BusesCarsTrucksTrainsVesselsAircraftBikesSmart EnergySmart RetailSmart MobilitySmart LogisticsSmart FactorySmart CitiesSmart Entertain-mentSmart Health-careSmart Building Home新的解决方案： Event Hub服 务Event Hub 是 大 规 模数据接入服
8、务 设备 容量 : 通 过 HTTP/AMQP可接收超 过 百万的 数据源（ 设备 ） 处 理速度 : 每秒 处 理超 百万的事件 输 入吞吐量 : 超 过 GB/s 输 出 : 发 布 订 阅 模型，可并 发连 接多个用 户应 用 安全性 : 基于 SAS，每个 发 布者有唯一的令牌 事件 缓 冲 : 每个用 户 的 应 用 拥 有自己的 指 针 和偏移量 持久性： 每个事件可保留 17天 处 理 时 延： 端到端 50ms内 价格 : PaaS模式，按 实际 使用量 计费Event Hub 在物 联 网中的 应 用 场 景展 现 与操作数据改造事件代理 永久性存 储事件采集事件源设备嵌入式
9、 设备(如 RTOS)支持 IP的 设备(Windows/Linux)用 户处 网关设备Event Hub传统 物 联 网(私有 协议 )协议转换 网关AMQP/HTTPC, .NET, JavaMQTT/COAP/Custom定制数据的保留 时间 ,用 户 分 组 ,接收者分区 ,检查 点 ,分区分 发 API低 处 理 时 延方便集 成分析平台与服 务定制代 码流分 析Storm存 储 适配器可以配置的存 储 服 务 适配器App监 控数据分析状 态监 控Dashboard服 务搜索分布式事件跟踪-用 户应 用AMQP/HTTP, C, .NET, Java 可根据吞吐量和并 发 数量 扩
10、 展Azure 数据 库Azure 存 储HDInsightEvent Hub如何采集 事件 事件就是 设备 和 应 用上 传 的消息 Event Hub 以 ”分 区 ”（ Partition） 为 接收 单 元 一 个分区就是就是一个事件 队 列 一个 Event Hub服 务 包 含多个分 区 分区之 间 相互独立256KBEvent Hub事件采 集的高 扩 展性 设备发 送到 Event Hub服 务的 事 件包含分区 键 值 (Key) Event Hub通 过 静 态 哈希函数将事件分 发 到分区 如果 发 布事件 时 未指定分区 键 ， 则 会使用循 环 分 配或者其他（如根据
11、地理位置）属性分配Event Hub 的流量控制 Event Hub 的流 控通 过 流 控 单 元 实现 输 入流控： 每个 单 元限定 1MB/s或 1000 events/s 输 出流控： 每个 单 元限定 2MB/sEvent Hub如何 传递 消息到使用者 从 Event Hub读 取事件数据的任何 实 体称 为 事件使用 者 IoT场 景下，事件使用者就是 IoT应 用的后台服 务 事件使用 者通 过 使用者 组 中的分区 读 取事件 流AMQP 1.0Event Hub如何支持故障 转 移和 弹 性Event Hub的分区支持偏 移 量 （Offset） 偏 移量是事件 的 编
12、号 事 件使用 者可 以在事件流中指定要从其开始 读 取事件的 点Event Hub的分区支持 检查 点 （ Check pointing） 检查 点 记录 分区中的事件 处 理的状 态 当一个使 用 者 发 生故障的 时 候， 备 份的使用者可以从 检查 点开始， 继续处 理未 经处 理的事件 多 个使用者可以并行 处 理同一分区内的不同事件Event Hub 安 全模型Event Hub发 布者 发 布 者是 设备 接入 Event Hub服 务的端点 发 布者具有接入控制和流控的功能 每个 设备 都把消息 发 送 给发 布者 每一个 发 布者有唯一的 URL: Hubpublisher“
13、dev-01”device“dev-01”publisher“dev-02”device“dev-02”publisher“dev-n”device“dev-n”基于令牌的安全模型 每一个 设备 都有自己 的 共享 访问签 名 (SAS)令 牌 设备长 期持有 令牌 设备 在 发 送的每条消息里携 带 令牌 发 布者根据令牌授 权设备 接入 设备 通 过 下列方式之一 获 得令牌 : 离 线获 取并 烧 入 设备 . 通 过 用 户 的配置服 务获 取令牌 所有的令牌都被分 配一 个密 钥分配密 钥 所有的令牌都被分配了一个密 钥 密 钥 保存在 Event Hub服 务 中，用于 验证 令牌 设备 不知道密 钥 密 钥 永 远 不会在网上 传输实时 大数据分析 待 续 。共享 资 源LearningMicrosoft Certification & Training Resourceshttp:/ TechNetResources for IT Professionalshttp:/ Sessions on Demandhttp:/ Networkhttp:/
