1、大数据的 概念、分析技术及应用,2019年3月,目录,2019年3月,网易云音乐的每日推荐,2019年3月,通过什么连接？,两首诗,2019年3月, 自由的石头， 无畏地坠落向爱。 却在迷惘的路上， 轻羽般离去。 迷茫的孩子， 悄悄地将它掩埋。 , 过于长久的牺牲， 能把心变为一块岩石。 呵， 什么时候才算个够？ 那是天的事， 我们的事 ,基本电荷单元,2019年3月,1.602176491019,汪峰“歌词”元素表,2019年3月,9张专辑共117首歌曲,光速,2019年3月,299792458 m/s,另一首,2019年3月,自由， 在桥的这头埋葬， 光明， 在桥的那头破碎， 已没所谓绝望
2、， 微雨中，说声再见,大数据发展历程,2019年3月,萌芽期 概念提出 政府插足 研究机构,过热期 案例遍地开花 内部数据为主 并购风起,幻灭期 国家推动 从概念到实用,复苏期,从Gartner新技术曲线看大数据技术(1/3),2019年3月,2019年3月,从Gartner新技术曲线看大数据技术(2/3),2019年3月,从Gartner新技术曲线看大数据技术(3/3),数据的变化在哪里（1/3）,量,2019年3月,1KB (Kilobyte 千字节)=1024B, 1MB (Megabyte 兆字节 兆)=1024KB, 1GB (Gigabyte 吉字节 千兆)=1024MB, 1TB
3、 (Trillionbyte 万亿字节 太字节)=1024GB 1PB（Petabyte 千万亿字节 拍字节）=1024TB, 1EB（Exabyte 百亿亿字节 艾字节）=1024PB, 1ZB (Zettabyte 十万亿亿字节 泽字节)= 1024 EB, 1YB (Jottabyte 一亿亿亿字节 尧字节)= 1024 ZB, 1BB (Brontobyte 一千亿亿亿字节)= 1024 YB., 美国地理及空间探测 美国能源部数据 全球可穿戴设备 美国国防部数据 国际海洋和大气管理 物联网数据 国家健康研究所 国家癌症研究所 全球IP流量,挤压现象 世界90%的数据是过去几年里产生的
4、。过去三十年中，全世界的数据量大约每两年增加10倍远超摩尔定律 数据总量 IDC的预测，2009年到2020年，0.8ZB到35ZB，44倍，年均40% 中国存储数据量 当前约为600万TB，占全球总量的15%，预计到2020年，占比将提高到22%,数据的变化在哪里（2/3）,质,2019年3月,早前 02985XX6789用户5月消费59元，MOU200分钟 昨天 189XXXX1234用户5月消费59元，其中套内49元，套外10元。 手机流量150M ：1日-10日75M、11-20日50M、21日-30日25M；视频流量80M、游戏流量15M。 MOU200分钟：本地主叫80分钟、本地被
5、叫60分钟、漫游主叫20分钟、漫游被叫40分钟 月度内漫游地：北京 今天 189XXXX1234用户5月消费流量150M： 第一次5月1日9点30分，基站ID 3001，手机百度搜索，关键字“天气”； 第二次5月1日12点05分，基站ID 2345，微博评论，关键字“马刺” MOU200分钟： 第一次5月2日17点12分，主叫，号码 139XXXX4321 LBS分析： 前往2个加油站，共停留时间：43分钟 商场消费线上支付11209元，超市消费线上支付3207元 ,数据的变化在哪里（3/3）,用,2019年3月,统计级应用：时间、空间、人、物四个维度的交叉统计分析。以零售业为例 零售研究：物
6、-物 消费者洞察：物-人-物 消费者购买路径：人-物-时间 大数据空间研究：物理空间-人-赛博空间个体级应用：基于人与物关联的历史信息去推测未来的关联状态 精准营销：新客推荐 金融征信：风险定价 人力招聘：人岗匹配 ,大数据变化的背后：大数据与云计算,云计算构建新的信息基础设施 在线化 平台化 扁平化 低成本 大数据打破信息壁垒 更透明 更有效 更可信,2019年3月,小结,大数据：是通过新处理模式能且才能提供更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息,2019年3月,小结,大数据的本质：时间与空间维度下的人与物、人与人、物与物之间复杂的关联关系，利用大数据，还原事物
7、原貌、探究规律机理、预判发展变化,2019年3月,目录,2019年3月,大数据分析挖掘技术,背景：局部数据难以统观全局，大数据需要跨视角、跨媒介、跨行业的海量数据融合和关联分析，才能更好地进行决策支撑 解决方法：通过面向海量多维数据的机器学习算法和数据关联分析等方法，用直观形象地方式，展现数据之间潜在的关系,2019年3月,常见大数据分析挖掘技术,深度学习,通过层次化的方式和海量的训练数据，从而提升分类或预测的准确性 已在语音识别、图像识别、人脸识别等领域取得巨大成功，目前也已开始应用于内容推荐、异常检测等,2019年3月,多维数据关联,满足用户从多角度多层次进行快速数据查询和分析的数据模型，
8、面向分析决策，解决传统数据模型在数据维度高、条数多的情况下，无法有效表示数据结构和语义，以及无法有效支持OLAP的问题。 主要分析方法：钻取、上卷、切片、切块、旋转,2019年3月,知识图谱,基于图结构刻画实体之间关系的技术，采用可视化技术描述其相互联系 为搜索、挖掘、语义理解等应用提供基础的知识库，提高搜索效果，突破传统搜索体验，拉开语义搜索的序幕,2019年3月,数据可视化,将数据之间的关系以图形图像的形式表示，将图形与指标的含义关联，为用户提供深度、直观的数据及其结构关系表示，使用户能够洞察其中的规律及本质的特点。,2019年3月,案例：1854年伦敦霍乱地图,案例：旧金山游客地图,数据可视化,将数据之间的关系以图形图像的形式表示，将图形与指标的含义关联，为用户提供深度、直观的数据及其结构关系表示，使用户能够洞察其中的规律及本质的特点。,2019年3月,厘清几个概念,2019年3月,人工智能 机器学习 数据挖掘 深度学习 ,两个反思故事,两个反思故事,2019年3月,谢谢！,你总是喜欢把事情拖到第二天，你不能再这么拖了，因为有一天，你会有很多事情要做，你的余生都不够你用。 余生的第一天,
