1、百度云人工智能首席架构 师 张发恩 百度云与人工智能 2014 2011 大规模DNN最大 支持千亿样本/特 征 2010 2003 2008 Hadoop 分布式 计算系统上线 2009 分布式网页库 Bailing 上线，存 储网页规模超过 1000 亿 大规模机器学习平台 支持凤巢广告CTR 预估 上线 实时计算系统支持毫 秒级时延，准实时计 算系统严格不丢不重 2012 新一代分布式计算系 统，单集群规模达 10000 2013 业内最大自研万兆交 换机 全球首个ARM构架服 务器规模化应用 深度学习实验室成立 2016 百度云计算 战略发布会 2015 百度开放云 正式对外开放 分布
2、式搜索系 统 历史 2015 ，我们 在FDDB检 测数据 集和LFW 识别数据 集上均 获得世界 第一 凭借15.89% 的 高研发强 度，百 度在2016 中企500 强的评 选中成为 中国研 发强度 最高的企 业 2016 年， 麻省理工 科技评 论 评 选的“全球最聪 明的50 家 公司” 百度名列第二 2016 年11 月，世 界互联 网领先科 技成果15项 ，百度 入围 百度概况与人工智能布局 北京研发中心 上海研发中心 深圳研发中心 日本研发中心 新加坡研发中心 北京 深度学习实验室 北京 大数据实验室 美国研发中心 硅谷 AI实验室 43,700 员工人数 中国十佳雇 主 全球
3、最大 中文搜索引擎 全球最大 中文网站 8 0 %90.3% 无线渗透率 云计算 人工智能 大数据 IaaS PaaS 百度机器学习BML 百度深度学习BDL 人工智能API 数据采集标注 ABC 三位一体 大数据平台 深度学习平台 数据采集和标注 异构计算 知识图谱 硬盘快递 日志分析 关系数据库 RDS 键值数据库 Redis 对象存储 BOS 数据 仓库 Palo 机器学习 BML 大数据平台BMR （Hadoop ） MapReduce Spark Zeppelin HBase Hive Hue 物联网服务IoT 日志服务BLS 批量 计算 Batch 百度 BigSQ L 百度 El
4、asti c searc h 深度学习 Paddle Paddle TensorFl ow 数据可视化 百度Kafka 数据接入 数据存储 数据分析 专项方案 行业方案 直接上传 数据仓储 推荐系统 舆情分析 数字营销 生命科学 电商零售 游戏 金融 教育 娱乐 百度云大数据平台 数据收集标注 大数据平台 深度学习平台 数据采集和标注 异构计算 知识图谱 XPU & FPGA 新一代AI 处理架构* - 专用计算单元 - 数百个处理器 - GPU 的通用性 基于FPGA 加速的端方案 - 灵活 - 低功耗 GPU BOX 业内首个PCIe Fabric 互联 架构 全球先进的CPU 和GPU
5、物 理解耦架构， 国内第一家 硬件实现 GPU资源池化按需调度 单机实验室最大可支持8- 64 个GPU ， 以支持更大的 深度学习模型训练 业内首个机柜一体化AI 计 算机 PCIe Network 100Gb RDMA Network CPU 计算节点-1 GPUBOX-1 CPU 计算节点-n GPUBOX-n PCIe核心交换机 GPUBOX 深度学习一体机 机柜配置 基于天蝎整机柜架构 2100mm ，42U 高度 模块化散热和供电 集中管理 单机柜2个计算节点 + 1 个GPUBOX 风扇 电源 与国际AI巨头对比 对比项 GPU-BOX Facebook Big Sur Face
6、book Big Basin Microsoft HGX-1 单机箱支持GPU 最大数量 16 8 8 8 CPU 和GPU 配比 任意 最大1:64 1:8 1:2/4/8/16 1:2/4/8/16 硬件解耦 资源池化 GPU 密度 4U16 卡 4U8 卡 4U8 卡 4U8 卡 功耗密度 4U 5KW 4U 2.5KW 4U 2.5KW 4U 2.5KW 上线时间 16 年5 月 16 年3 月 17 年3 月 17 年3 月 注：Google和亚马逊的GPU 服务器单 机最大 支持8 个GPU 大数据平台 深度学习平台 数据采集和标注 异构计算 知识图谱 深度学习框架PaddlePa
7、ddle PArallel Distributed Deep LEarning 特点 并行分布式深度学习平台 ，支持 多机多 卡并行 、数据 并行、 模型并行。 支持CPU/GPU/FPGA 支持序列模型 支持大规模稀疏训练 支撑了业务系统的有效应用 实时高并发系统、稳定性 要求极 高，毫 秒级实 时预测 特征规模 超大（ 千 亿）、数 据规模 超 大（日数 十亿迭 代 处理） 深度学习数据流场景 深度学习模型预测 深度学习模型训练 分布式文件系统 BOS/HDFS 模型存储 百度数据采集和标注服务 分布式文件系统 BOS/HDFS 数据存储 在线服务 在线服务 日志收集 百度深度学习平台 G
8、PU GPU GPU 百度深度学习一体化平台( 计算/存储资 源池) CPU CPU CPU 分布式文件系统HDFS 百度深度学习框架与调度监控软件 深度学习- 训练任务提交 深度学习- 预测任务常驻 通 用 深 度学习模型 人脸识别 语音识别 NLP OCR 智能客服 营销 风控 结合百度多年数据经验积 累及模 型技术 沉淀， 百度对于如下场景提供标 准算法 模型套 件输出 通用深度学习模型 CPU GPU GPU GPU 支持 PaddlePaddle 、 Tensorflow 、 MXNet 、Caffe 等 深度学习框架 支持多用户共享一 个集群 支持训练作业管理 支持模型版本管理 、
9、发布、预测服务 支持安装百度大脑 的各种预训练模型 支持快速建立开发 环境 最先进的 GPU 加速 器 ABC 一体机 端到端 软硬件经过调优 完美兼容性 部署简单 轻松部署 开箱即用 扩展性强 平滑扩容 快速扩展 高安全性 私有部署 安全无忧 64 单服务器最高 支持GPU 卡数 5000 单集群并发调 度GPU 卡数 1000 单集群并发调 度服务器数 10000 单机群用户数 100000 单集群并发 调度作业数 ABC 一体机指标 一个案例：钢板质量缺陷检测 生产环境采集钢板照片 ABC一体机部署的检测模型 钢板质量分类结果 conv1 pool1 conv2_x conv3_x co
10、nv4_x conv5_x SSD Layers Original Prediction layer 5X5 convolution 2X2 subsampling 5X5 convolution 2X2 subsampling Feature extraction classification C 1 Feature maps S 1Feature maps C n Feature maps S n Feature maps n 1 n 2 output 0 1 2 4 3 钢板质量检测模型 图像处理的更多案例 大数据平台 深度学习平台 数据采集和标注 异构计算 知识图谱 数据采集和标注 数
11、据样本机器学习的核 心 迭代 model 待评 model P 迭代样 本 F 评测数据 集合 F 上线 P 初始 model 训练 model 训练 迭代训练 验证 评测 验证数据 集合 样本数 据 有数据就有可能，没有数 据一定 不可能 雏形 上路 模型训练 线上抓取：8000 万条 url/ 天 线下采集：1 万人，分布全国 300 个城 市 采集类型：网页、照片、语音、视频、 POI 标注能力：通过培训的标注专员 5000 人，专职审核人员 200 人 质量保证：机器审核 + 人工抽审 标注类型：文本、网页、图片（ 2D | 3D ）、语音、视频 、地图 数据采集 数据标注 大数据平台
12、 深度学习平台 数据采集和标注 异构计算 知识图谱 什么是知识图谱 世界是由事物组成的，而 不是字 符串 知识图谱用来刻画事物以 及事物 之间的 关系 知识图谱可以把所有不同 种类的 信息 （Heterogeneous Information ）连接在一起而 得到的一个关系网络。 知识图谱提供了从“关系 ”的角 度去分 析问题 的 能力 知识图谱可以帮助AI 更好 的理解 世界 知识图谱技术架构 4 项发明专利： 一种结构化网页正文 的装置和方法 一种新型问答知识库 构建技术 一种基于问题意图的 答案摘要技术 文本核心词识别 知识图谱的一个案例 智能多轮对话IVR 客服助手 用户 客服 智能
13、推荐 语音多轮 对话 语音评价 收集 智能话务 分流 实时话术 提示 来电原因 分类 来电诉求 提示 推荐问题 归类 用户画像 业务模型 行为模型 用户行为预测 多轮对话机器人 语义理解 语音交互 后台知识库 自主学习 智能检索 自然语言处理 语音技术 深度学习 用户画像 大数据 百度AI 基础技术 精准预判客户诉求 明确诉求快速应答 天津联通智 能 客服 ， 是百度为 天津联通量身定 做的一套含智能 语音IVR 及客 服 助手的AI产品 ， 旨在帮助联通客 服人员话务分 流、降本增效。其底层用的知识库利 用知识 图谱构 建技术 ，实现 了自动 抽取增 量知识 、智能 检索及 自主学 习等功 能。 目前在小流量期间： 知识库解答问题占比16% ； 回 复准确率86% ， 高 于人工 客 服回答准确率1 个百分点 。 基于知 识库在 这一项目 中的 良 好 效果， 联通总公司后续将和百 度就统一智能知识库项目继续深 度合作。 Thanks 百度云人工智能首席架构师 张发恩 百度云与人工智能
