1、大数据与人工智能,提纲,什么是大数据大数据系统从数据获取价值大数据驱动智能,什么是大数据,什么是大数据,老生常谈的4个V第五个V: Value10秒的iPhone视频1980x1080x25x10=518,400,000像素是大数据吗？一个Excel表，10,000行用户A，用户B，转账金额是大数据吗？,大数据的价值来源：全,数据维度时间、空间维度跨界举个例子个人健康数据,McKinsey, Big data: The next frontier for innovation, competition, and productivity, 2011,大数据的价值体现：小,数据知识决策（1bit
2、）精确（概率）举个例子极致的个性化推荐,大数据的价值潜力：智能,语言视觉预测举个例子语音识别样本量：3千小时10万小时识别率：80%90%图片识别样本量：几万十亿识别率：70%95%,（大）数据从哪里来,传感器制造业、公共事业手机、PC、手环摄像头带宽40 kbps (2G) 15GB/年20 Mbps (4G)计算Moores Law存储TB级SSD,大数据系统,如何处理海量数据,一个关于屏保的的真实的故事2003年的知春路MPI,分布式系统的前世今生,应用驱动数据硬件驱动突破约束人的驱动聪明人懒人高效、容错、易用,1980s，个人电脑普及分布式系统采用Client-Server架构分布式S
3、QL数据库(1979)网络文件系统(1984),1990s，数据中心提供商业化系统部署解决方案P2P分布式架构网格计算,2000s，社交网络的盛行，海量数据和日志分布式编程模型MapReduce(2004年)分布式系统，如Hadoop (2006), Spark (2012) , Hive (2013)NoSQL数据库流行，如Cassandra (2008),2010s，随大数据和人工智能的发展分布式机器学习系统广泛应用分布式图数据库被用于大数据知识图谱的处理和分析,大数据系统是一个“操作系统”,数据存储,2个CPU,1-4块硬盘,数据分析统计,数据存储,100+ CPU,800+ 硬盘,数据
4、分析统计,资源管理,计算、存储、IO,文件管理,相同的操作逻辑,从文件系统到对象存储,海量非结构化数据文本、语音、图片（分布式）文件系统目录结构支持大文件元数据服务器成为瓶颈对象存储去中心化Key-Value 架构支持小文件分布式元数据存储,数据分析,大数据怎么玩,从数据获取价值,大数据的价值获取,Human analytics,Machine analytics,数据ETL和清洗,HDFS,大数据洞察：群体和个体,大数据洞察：生态和信息传播,设备画像,用户画像,应用画像,核心算法 文本挖掘 机器学习 知识图谱,交互式数据洞察,超越传统BI报表的形式动态、变化的需求数据组织形态实时响应,从文本
5、提取结构化知识,“北京时间8月15日凌晨，2016年里约奥运会跳水女子单人三米板比赛中出现了浪漫的一幕。获得亚军的中国美女何姿在颁奖仪式后收到了男友秦凯的求婚。今天的比赛中，施廷懋以总分406.05分获得冠军，在帮助中国队实现该项目八连冠的同时，何姿以387.90分遗憾获得银牌”。,何姿,秦凯,男友,获得,亚军/银牌,求婚,大数据的可视化呈现,挑战更大更易用更丰富更灵活,动态信息的可视化,波士顿的地铁运输系统,地铁列车在凌晨5：00开始服务，平均每8分钟有一辆列车驶出。,在工作日的早高峰8:00，列车分布更加密集，发车频率降低至3分钟。,*这是gif，放映可见,*这是gif，放映可见,时空数据
6、的交互式可视化,Uber每天收集上亿级别的车辆位置发现供需关系了解该城市的市场活动挖掘数据中的商业价值。,*这个gif，放映可见,数据驱动的决策,个性化营销城市规划更精确的度量成本收益,数据驱动的预测,需求政策走势故障和维护历史会重复,大数据驱动智能,什么是智能,语言逻辑推理理解记忆判断学习想象情感,The true sign of intelligence is not knowledge but imagination. - Einstein,Intelligence has been defined in many different ways including as ones cap
7、acity for logic, understanding, self-awareness, learning, emotional knowledge, planning, creativity and problem solving.,什么是机器智能,数据+模型+计算力,人,计算机,因果与关联 - 天气预报,因果关系用方程表达严谨准确专业什么是关联闪电与雷声用简化模型去近似方程式因果不明，或关联关系太过复杂时,运动方程式(风场)热力方程式水气(物质)方程式连续方程式(质量守恒),五分钟设计“大数据云计算人工智能” 系统,问题描述,8:10am,9:10am,数值化,可计算性,?,?,预测
8、模型,从死记硬背开始：机器学习模型结合人的智慧：因果模型,行业专家 vs.数据科学家,天气预报流感传播股票交易,业务逻辑业务经验因果模型小数据,数据逻辑跨界经验关联模型大数据,机器智能还可以做什么,医疗健康社会服务教育金融交通公共安全环境基础建设,机器智能还可以做什么,医疗健康社会服务教育金融交通公共安全环境基础建设,机器智能的军备竞赛,数据算法/人才计算力,NASDAQ:NVDA,机器智能的发展趋势,更大的数据更复杂的模型更好的算法,机器智能的能与不能,一位女士抱着冲浪板,一位男士拿着滑板,机器智能带给人的危与机,会在哪些领域替代人律师医生电脑工程师？诗和远方？人+机器,IT+,互联网+,大数据+,智能+,
