1、京东 /云平台 /系统技术部 何小锋京东弹性计算实践议题京东弹性计算之路1弹性计算架构2弹性计算应用场景5 数据驱动的精细化运营弹性调度策略及算法私有云 面临得挑战扩容慢部署复杂运维困难硬件成倍增长成本高资源利用率低抱怨资源不够交付效率不高挑战挑战用户需求稳定性性能用户习惯弹性计算之路2015/11/112015/6/182015Q12014Q42013弹性计算平台弹性落地10000+全面推广60000+从 KVM迁移到 DockerDocker（私有云）（私有云）BECDA高性能高稳定性低安全性快速部署轻量弹性计算架构弹性计算平台 = JDOS（ JD Datacenter OS） +CAP
2、（ Cloud Application Platform）。nJDOS实现 实现基础设施（网络，物理机，存储）的资源管理、容器的生命周期管理、监控指标采集 ；nCAP负责应用治理、部署、监控报警、资源利用率统计、手动和自动的弹性伸缩。基础平台 (JDOS)(OpenStack+Docker+JFS+OVS)应用平台 (CAP)(部署集成、弹性伸缩 )业务系统IDC资源OpenStack成熟度01快速交付02一套架构03很成熟，社区非常活跃积累了很多经验，快速交付成果公有云和私有云一套架构。 Windows虚拟机需求Docker D网络（ OVS/VLan）n 为了兼容现在的基础设施系统，满足用
3、户习惯，每个容器都有独立的 IP。n 禁用了 Docker网络，采用 Neutron集成 OVS；n 优化 OVS转发层，提升网络小包延迟，适用于微服务调用；存储XFS文件系统JFS块存储数据卷日志镜像分层合并应用层应用层基础层基础层OS层层变更频繁变更少变更很少镜像中心配置中心正式环境分组 1测试环境分组 1配置中心正式环境分组 2一个镜像 部署到多个环境中，根据应用、环境和分组从配置中心拉取配置。 App:CAP Group:V2 Env:PCAP 架构核心是一套工作流，基于 Zookeeper分布式调度引擎来实现。能动态注册发现节点；能控制单个节点并发任务数，失败重试次数，确保同一应用互
4、斥任务串行执行。系统 监控 指标指标CPU占用连接数内存占用网络流入网络流出系统负载磁盘占用存活监控 架构n指标数据带有明显的时间特性，每日数据上亿，采用了成熟的 OpenTSDB方案。n提供了从应用和实例多个维度查看负载情况，满足用户的需求。n可以对应用配置警策略，进行短信或邮件报警。宕机探测架构硬件故障探测监控页面调度流程弹性扩容流程应用在启动之前可能需要数据库授权，启动之后需要挂载 VIP，注册统一监控和统一日志。如何能自动发现应用的注册信息，采用了模版方式。应用先申请一个容器，手工注册这些信息，后续的扩容会以该容器为模版来进行自动注册故障迁移流程当遇到容器或物理机故障，需要进行快速的迁
5、移，迁移后的容器需要保持原有的IP，避免还要重新申请授权。弹性调度算法n 调度单元是应用分组在一个机房的实例。n 根据应用分组在指定机房的整体负载情况，预测下一时刻负载来进行弹性。应用场景n 双 11全面使用弹性云来备战，线上应用在新机房都部署在容器上；n 核心应用如：网站，交易，订单履约，配送，售后，无线，拍拍，金融，O2O等等平稳运行在容器上容器资源利用率n 以一小时为单位，计算容器的资源最大使用率；应用资源利用率n 根据应用和容器的关系，统计应用资源使用率；部门资源利用率n 根据负责人、部门、应用和容器的关系，统计部门资源使用率；一键伸缩n 批量快照水平扩容；n 批量水平扩容；n 批量水平缩容；n 批量垂直搜索；应用部署巡检n 定期巡检应用容器部署情况，邮件报告；规格不一致 03未部署 02超载 01n 单个机房部署过多n 单个交换机部署过多n 单个物理机部署过多n 申请的容器没有使用 n 容器规格不均匀，可能造成流量负载不均匀
