大数据ppt.pptx

1、青岛瑞高咨询管理有限公司,大数据应用案例分析,认识大数据时代,大数据的应用领域,大数据学习基础,案例分享,讲述内容,大数据时代到来,随着智能手机的普及，网民参与互联网产品和使用各种手机应用的程度越来越深，用户的行为、 位置、 甚至身体生理等每一点变化都成为了可被记录和分析的数据，数据量呈现爆炸式增长。,地球上至今总共的数据量：,在2006 年，个人用户才刚刚迈进TB时代， 全球一共新产生了约180EB的数据；,据IDC研究机构预测： 到2020 年，整个世界的数据总量将会增长 44 倍，达到35.2ZB（1ZB=10 亿TB）！,1PB = 250字节 1EB = 260字节 1ZB = 27

2、0字节,GB 在2011 年，这个数字达到了1.8ZB。,TB,PB,EB ZB,大数据时代到来,何为大？数据度量1Byte = 8 Bit 1KB = 1,024 Bytes 1MB = 1,024 KB = 1,048,576 Bytes 1GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes 1TB = 1,024 GB = 1,048,576 MB = 1,099,511,627,776 Bytes 1PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes 1EB = 1,024

3、 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes 1ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes 1YB = 1,024 ZB = 1,208,925,819,614,629,174,706,176 Bytes,大数据的构成,5,大数据 =海量数据（交易数据、交互数据）+针对海量数据处理的解决方案,海量交易数据： 企业内部的经营交易信息主要包括联机交易数据和联机 分析数据，是结构化的、通过关系数据库进行管理和访 问的静态、历史数据。通过这些数据，我们能了解过去 发生了什么。,海量交

4、互数据： 源于Facebook、Twitter、微博、及其他来源的社交媒 体数据构成。它包括了呼叫详细记录CDR、设备和传感 器信息、GPS和地理定位映射数据、通过管理文件传输 Manage File Transfer协议传送的海量图像文件、Web 文本和点击流数据、科学信息、电子邮件等等。可以告 诉我们未来会发生什么。,海量数据处理： 大数据的涌现已经催生出了设计用于数据密集型处理的 架构。例如具有开放源码、在商品硬件群中运行的 Apache Hadoop。,注：大数据 不仅仅指的是数据量庞大，更为重要的是数据类型复杂,想驾驭这庞大的数据，我们必 须了解大数据的特征。,大数据的产生,大数据4

5、V特征,结构化数据、半结构化数据和非结构化 数据 如今的数据类型早已不是单一的文本形式，网络日志、 音频、视频、图片、地理位置信息等，对数据的处理 能力提出了更高要求,实时获取需要的信息 比如：在客户每次浏览页面，每次下订单过程中都会 对用户进行实时的推荐，决策已经变得实时,数据量巨大 全球在2010 年正式进入ZB 时代，IDC预计到 2020 年，全球将总共拥有35ZB 的数据量,沙里淘金，价值密度低 虽然数据量很大，但是价值密度较低，如何通过强大 的机器算法更迅速地完成数据价值“提纯”，是目前 大数据亟待解决的难题,大数据,产品,市场价值,解决方案,转化,1. 海量（Volume）,3.

6、速度（ Velocity）,4. 价值（value）,2. 多样（Variety）,认识大数据时代,大数据的应用领域,大数据学习基础,案例分享,讲述内容,大数据的应用领域,天文学,生物医学,电子政务,气候学,企业管理,教育学,金融学,市场营销,公共服务,商业智能,传媒业,生活娱乐,天文学,生物医学,电子政务,气候学,企业管理,教育学,金融学,市场营销,公共服务,商业智能,传媒业,生活娱乐,总统选举,总统选举,情报学,情报学,图书馆学,图书馆学,大数据的应用领域医疗领域,数据落地，数据分析工作与行业和业务的深度融合,为管理者提供报表并提出决策依据，帮助企业做出明智的业务决策支持,综合数据,实时挂

7、号,门诊情况,住院统计,临床统计,今日检查,大数据的应用领域政治领域,大数据的发展，将极大地改变政府的管理模式，有利于节约政府投资、加强市场监管能力、提高政府决策能力、提升公共服务能力，实现区域化管理。,重“一站式”服务 轻“激励型”服务,我国电子政务的发展现状:,重性质性政务信息轻量化性政务数据,政府门户网站信息以文本、图片、视频 等非结构化信息为主，但没有关于财政税收、 医疗保险等可量化分析的结构化数据。,“一站式”服务包括申请、办证、审批等，忽略了开放原生态数据激发社会主体的创造性、主动性。,大数据在我国电子政务领域的应用,大数据的应用领域城建领域,目前，我国有60多个城市，将构建“智慧

8、城市”的目标列入“十二五规划”中。智慧城市即利用大数据的整合和分析来治理社会。2013年两会期间，有代表提议将发展大数据上升为国家战略。,大数据背景下，我国电子政务创新模式的转变：,增值基础从公开向发布、开放转变,2,大数据的应用领域金融领域,大数据助力推进高频金融交易和小额信贷,高频交易：实时性要求高、数据规模大。目前沪深两市每天4个小时交易时间会产生3亿条以上逐笔成交数据，通过对历史和实时数据的挖掘创新，以创造和改进数量化交易模型，并将之应用于基于计算机模型的实时证券交易过程中。,小额信贷：阿里巴巴和建行在2007年推出一个专注于小企业的贷款计划e贷通，阿里巴巴利用拥有的用户信息及交易数据

9、，通过大数据技术自动判定是否给予企业贷款；而建行坐拥巨额资金，希望贷款给无信用记录但发展势头良好的小企业。到2012年底，阿里在累计服务小微企业超过20万家，放贷300多亿元，坏账率仅为0.3%左右，低于商业银行水平。,大数据的应用领域金融领域,14,大数据协助金融企业精准营销,招商银行通过数据分析识别出招行信用卡高价值客户经常出现在星巴克、DQ、麦当劳等场所后，通过“多倍积分累计”“积分店面兑换”等活动吸引优质客户；通过构建客户流失预警模型，对流失率等级前20%的客户发售高收益理财产品予以挽留，使得金卡和金葵花卡客户流失率分别降低了15个和7个百分点；通过对客户交易记录进行分析，有效识别出潜

10、在的小微企业客户，并利用远程银行和云转介平台实施交叉销售，取得了良好成效。,大数据的应用领域教育领域,现在，大数据分析已经被应用到美国的公共教育中，成为教学改革的重要力量。,大数据的应用领域生活娱乐领域,40天，40亿人次。这是春运的总时间和总出行人数。在这场堪称人类历史上最大规模的短期迁徙中，人群从哪儿去了哪儿？哪些线路最热门？在以往，这些问题可能难以精确回答。但随着技术进步，通过应用“大数据”这一技术利器，人们已经接近“在迷宫中感受全局”地看见春运的全景。,大数据首次播报春运迁徙实况,大数据的应用领域生活娱乐领域,国内有6亿手机用户使用百度地图，用户每次位置变化，百度都能得到数据。把手机网

11、民的定位信息汇总成大数据进行分析，就能勾勒出人们的迁徙轨迹。此次百度图景化地展示春运情况，是基于LBS(基于地理位置的服务)技术的一次创新。它的数据每8小时更新一次，囊括了全国铁路、公路和航空在内的线路。,认识大数据时代,大数据的应用领域,大数据学习基础,案例分享,讲述内容,大数据学习基础,和数据中心（Data Center） 一样，软件是大数据的驱动力.软件改变世界!,C JAVA NET PHP 数据结构 数据库,大数据学习基础,大数据学习内容,Java 基础教程 1. Java 简介，包括跨平台、虚拟机、JDK 等 2. Java 编程基础，包括函数、循环语句、变量等 3. Java 高

12、级特性，包括类、继承、多态等 4. Java 数据集合，包括List、Map、Set 等介绍 5. 自动化项目管理工具Maven 6. Java 小测验,Linux基础教程 1. Linux 的安装和使用 2. Linux 文件系统 3. Linux 用户和进程管理 4. Shell 和网络基础 5. git 工具介绍 6. Linux 小测验,Hadoop 环境搭建 大数据概论、Hadoop 发展历程、Linux 常用指令 Hadoop 伪分布式安装、Hadoop 集群环境搭建、Hadoop 架构,大数据学习内容,大数据学习内容- echarts,http:/ Hadoop Apache的H

13、adoop项目已几乎与大数据划上了等号。它不断壮大起来，已成为一个完整的生态系统，众多开源工具面向高度扩展的分布式计算。 支持的操作系统：Windows、Linux和OS X。 相关链接：http:/hadoop.apache.org 2. Ambari 作为Hadoop生态系统的一部分，这个Apache项目提供了基于Web的直观界面，可用于配置、管理和监控Hadoop集群。有些开发人员想把Ambari的功能整合到自己的应用程序当中，Ambari也为他们提供了充分利用REST（代表性状态传输协议）的API。 支持的操作系统：Windows、Linux和OS X。 相关链接：http:/amba

14、ri.apache.org,Hadoop相关工具,大数据学习内容-大数据开源工具,1. Disco Disco最初由诺基亚开发，这是一种分布式计算框架，与Hadoop一样，它也基于MapReduce。它包括一种分布式文件系统以及支持数十亿个键和值的数据库。 支持的操作系统：Linux和OS X。 相关链接：http:/discoproject.org 2. HPCC 作为Hadoop之外的一种选择，HPCC这种大数据平台承诺速度非常快，扩展性超强。除了免费社区版外，HPCC Systems还提供收费的企业版、收费模块、培训、咨询及其他服务。 支持的操作系统：Linux。 相关链接：http:/

15、,大数据分析平台和工具,大数据学习内容-大数据开源工具,1. Blazegraph Blazegraph之前名为“Bigdata”，这是一种高度扩展、高性能的数据库。它既有使用开源许可证的版本，也有使用商业许可证的版本。 支持的操作系统：与操作系统无关。 相关链接：http:/ 2. Cassandra 这种NoSQL数据库最初由Facebook开发，现已被1500多家企业组织使用，包括苹果、欧洲原子核研究组织（CERN）、康卡斯特、电子港 湾、GitHub、GoDaddy、Hulu、Instagram、Intuit、Netfilx、Reddit及其他机构。它能支持超大规模集群；比如 说，苹果

16、部署的Cassandra系统就包括75000多个节点，拥有的数据量超过10 PB。 支持的操作系统：与操作系统无关。 相关链接：http:/cassandra.apache.org,数据库/数据仓库,大数据学习内容-大数据开源工具,1、Talend Open Studio Talend的下载量已超过200万人次，其开源软件提供了数据整合功能。该公司还开发收费的大数据、云、数据整合、应用程序整合和主数据管理等工具。其用户包括美国国际集团（AIG）、康卡斯特、电子港湾、通用电气、三星、Ticketmaster和韦里逊等企业组织。 支持的操作系统：Windows、Linux和OS X。 相关链接：h

17、ttp:/ 2、 Jaspersoft Jaspersoft提供了灵活、可嵌入的商业智能工具，用户包括众多企业组织：高朋、冠群科技、美国农业部、爱立信、时代华纳有线电视、奥林匹克 钢铁、内斯拉斯加大学和通用动力公司。除了开源社区版外，它还提供收费的报表版、亚马逊网络服务（AWS）版、专业版和企业版。 支持的操作系统：与操作系统无关。 相关链接：http:/,商业智能,大数据学习内容-大数据开源工具,1、DataMelt 作为jHepWork的后续者，DataMelt可以处理数学运算、数据挖掘、统计分析和数据可视化等任务。它支持Java及相关的编程语言，包括Jython、Groovy、JRuby

18、和Beanshell。 支持的操作系统：与操作系统无关。 相关链接：http:/jwork.org/dmelt/ 2、 KEEL KEEL的全称是“基于进化学习的知识提取”，这是一种基于Java的机器学习工具，为一系列大数据任务提供了算法。它还有助于评估算法在处理递归、分类、集群、模式挖掘及类似任务时的效果。 支持的操作系统：与操作系统无关。 相关链接：http:/keel.es,数据挖掘,大数据学习内容-大数据开源工具,1、Lucene 基于Java的Lucene可以非常迅速地执行全文搜索。据官方网站声称，它在现代硬件上每小时能够检索超过150GB的数据，它含有强大而高效的搜索算法。开发工作

19、得到了Apache软件基金会的赞助。 支持的操作系统：与操作系统无关。 相关链接：http:/lucene.apache.org/core/ 2.、Solr Solr基于Apache Lucene，是一种高度可靠、高度扩展的企业搜索平台。知名用户包括eHarmony、西尔斯、StubHub、Zappos、百思买、AT&T、Instagram、Netflix、彭博社和Travelocity。 支持的操作系统：与操作系统无关。 相关链接：http:/lucene.apache.org/solr/,大数据搜索,认识大数据时代,大数据的应用领域,大数据学习基础,案例分享,讲述内容,案例分享（1）-用户

20、分析,*听歌进入社交化时代，听歌单、听歌看评论成为流行听歌行为； *个性化推荐已覆盖多数听歌用户，越来越多用户通过个性化推荐发现好音乐；*听歌进入多元化时代，民谣、电音、二次元音乐崛起； *独立音乐人迅速崛起，社交互动助推音乐人涨粉； *90后已成为音乐消费主力人群； *用户付费意识明显提高，付费会员数和数字专辑售卖增长迅猛；,*综艺影视对音乐的影响依旧强大，热门歌曲中7成来源于综艺或影视； *偶像流行乐保持高热度，欧美歌曲受众提升； *音乐市场正在构建一种新的评价体系，评论数成为歌曲热度重要评价指标； *男歌手受喜爱度高于女歌手，女性歌迷消费群体经济崛起；,截至2016年7月呈现2亿音乐用户

21、听歌行为以及2万音乐人活跃行为,案例分享（1）-用户分析,通过数据可以发现网易云音乐用户群中19-30岁年龄段用户最多，占比达到48%，整体用户群偏年轻化。 职业分布：学生和IT从业者占据绝大用户群，企业中高层管理人员所占比例最少，另外的专业工作人员所占比例区别不大，用户群体整体受教育程度普遍较高。,案例分享（1）-用户分析,案例分享（1）-用户分析,案例分享（1）-推荐歌曲,通过微信微博等社区软件进行传播分享,网易音乐编辑人员人工推荐的歌单和电台。,朋友推荐,人工推荐,通过大数据分析计算后的智能推荐歌单,智能推荐,以人为本算法,以歌为本算法,“喜欢这首歌的人，也喜欢XX” 喜欢：点击“喜欢”

22、、评论、下载、收藏到歌单的人,所听歌曲的标签在其它歌曲也包含则推荐该歌曲,3种推荐维度和2种推荐算法,案例分享（2）-猪八戒网,猪八戒威客网服务众包平台,在最初的几年里，猪八戒网将服务需求者与提供者链接起来，并从中收取佣金提成。现有的交易有赖于双方沟通，但是只要一沟通就会翻墙跑单。因为服务商想逃避佣金，买家也愿意逃佣金，平台不应该拿钱。,企业增长缓慢,（朱明跃）,案例分享（2）-猪八戒网,第一，近500万的中小微企业用户。且每天新增将近5000户并在平台至少有一次交易。 第二，服务商。猪八戒网8、9年做下来后平台上有一千万名家各界的专业人才，有设计师、工程师等等。 第三，海量的作品数据。累积的

23、作品数据有10个T以上，有些事垃圾，但也有一些有用的东西。 第四，交易行为数据。各种服务日志、交易日志，都是海量的数据。,用户数据 “富含宝藏的海洋”,深入挖掘分析小微企业的实际需求 找切入点,如果不收佣金，能为用户提供什么延伸服务？,案例分享（2）-猪八戒网,猪八戒网找到了切入点，在自己搭建的“钻井平台”上获得了“石油”。 第一口井通过对客户数据的研究后，发现客户设计完标志以后，大部分还需要做知识产权保护，其中最核心的是商标注册代理和版权登记。 接下来成立的“猪标局”，只用了半年时间就成为了中国最大的商标公司。 和依文 集团合作成立互联网平台。因为某猪网有很多VI作品交易，VI很大一部分是L

24、OGO，如果这些企业想做职业装，就直接对接过去。 企业孵化，某猪网的创意服务者中 ，不乏有收入和等级高的成立工作室，随后产生注册公司的需要。猪八戒展开合作，在各城市建创新型产业园。,一年少收了佣金六千万，但仅凭商标业务就赚了三个亿。,个人感悟,大数据改变传统春节，红包成为新年俗,1、以前过年是吃饺子、放烟花、看春晚，现在是领红包、领红包、领红包。 虽然新春红包是根植于中国传统文化、人情社会中的一环，本质上是年俗的一个体现、传递祝福的一种方式，但也要适度，不该占用太多团聚时光，冲淡了团圆本意。 2、今年淘宝就打造了“亲情账户”的概念，“开通成功看春晚，一人中奖全家中奖”。 3 、而QQ的红包活动则和运动步数结合起来，鼓励大家放下手机，多陪陪父母，多见见朋友。,互联网是时代的特色，美好的愿望是春节的底色，只要后者不变，我们的年味就不会变。物联网科技与传统春节文化的深度融合，让春节始终接上时代的步伐，焕发出别样的生命力。,个人感悟,1、大数据改变电视媒体：大数据分析推送小视频、音乐、文章。 2、大数据改变社交网络：大数据分享朋友圈，快速扩展网友。 3、大数据改变医疗：可穿戴设备实时监控健康指数。 4、大数据改变出行：地图实施显示道路情况，推荐出行路线。 5、大数据改变零售：销售哪些商品、如何摆放货品以及何时调整售价。 6、大数据改变自己。,谢谢各位！,