1、,高教大数据平台方案,P1.现状分析,P2.大数据业务,P3.技术实现,P4.公司实力,P5.案例分析,P6.竞争分析,高校大数据建设国家政策背景,中国基础教育大数据发展白皮书首次研讨会在京召开，对全国教育大数据的建设给予探索和指导参考意义。,9月5日电 经李克强总理签批，国务院日前印发促进大数据发展行动纲要，系统部署大数据发展工作。其中，也提到了教育大数据系统的建设。,目前政策对大数据的支持力度正不断提升，大数据已上升至国家战略。自去年3月“大数据”首次出现在政府工作报告中以来，国务院常务会议一年内6次提及大数据运用。在6月17日的国务院常务会议上，总理李克强再次强调大数据运用的重要性。7月
2、1日，国务院办公厅印发了关于运用大数据加强对市场主体服务和监管的若干意见。,大数据产业政策频出 步入快速发展期,高校大数据建设遇到的问题,主要是数字化校园系统产生数据数据的维度少，业务来源不足,数据量百GB到几TB，数据量少以结构化数据为主，达不到大数据要求,部份数据源有错误，数据不一致业务接口与数据结构不规范,数据涉及面窄,有效数据量少,数据接口不完善,数据源的问题分析,数据中心,教务系统,学工系统,一卡通系统,设备管理系统,科研管理系统,医疗管理系统,研究生管理系统,上网行为管理系统,网络计费系统,无线WiFi系统,宿舍管理系统,图书管理系统,房产管理系统,财务系统,人事系统,基本信息,基
3、本信息、成绩等,贫困生、奖学金等,流水账,岗位、职称等,专业、研究方向等,高校常见业务系统,高校常见业务系统详细数据分析,校领导决策更加科学,教师教学更加便捷教学水平提升,学生随时随地个性化学习,家长及时掌握子女在校情况,教学管理与服务管理更加简单高效服务水平不断提升,校园环境更加绿色、环保、安全信息化覆盖范围和服务水平有效提升,社会更多优质教育资源和科研成果开放共享,高校大数据建设遇到的问题,高校大数据服务用户分析,高校大数据常见服务用户类型,高校大数据建设的其它行业问题,P1.现状分析,P2.大数据业务,P3.技术实现,P4.公司实力,P5.案例分析,P6.竞争分析,大数据方案规划架构图,
4、教务系统,图书管理系统,一卡通系统,认证计费系统,就业指导系统,上课考勤系统,校园论坛网站,校外招聘网站,校外论坛网站,数据源,大数据管理平台,网络设备,行为审计,数据库,安全设备,服务器,云管理平台,虚拟桌面,智慧课室,数据采集,Socket采集,DB采集,Ftp采集,Webservie,网络爬虫,建模清洗,数据清洗,数据质量,任务调度,加载入库,Spark core,Spark Streaming,MLlib,Spark SQL,数据仓库,统一api/Jdbc接口,Hive,Hbase,Hdfs,MongoDB,Mysql,主流数据库,结构化数据,半结构化数据,应用服务,我的大学,就业指导
5、,行为预警,学生行为画像,学校舆情,数据安全分析,科数据ETL工作箱,支持高校大数据建设的整体与应用的真正落地，实现“一体化”交付,大数据业务模块（已完成）,学校概况,全校成绩统计图,全校学历分布情况,各学院学历分布图,全校一卡通消费情况,学生生源分布地图,教师职称统计图,学校概况,全校上网信息,学校舆情情况,综合预警平台,各省成绩分布图,全校/各院学生综合分析,各院逃课率占比,我的大学-我的成绩,学生成绩详情分析,学生图书借阅分析,学生课程表,学生详细当前借阅信息,我的大学-我的消费,我的大学-我的网络,行为画像-逻辑示意图,每个学生的行为画像,大学综合信息,我的推荐,学生关联信息,数据仓库
6、,生活信息,课程信息,其它信息,行为画像,行为画像,学生行为画像,行为画像报告与评价,最近状态提示,综合预警,学生沉迷预警,图书借阅预警,学生失联预警,贫困生预警,上网预警,一卡通消费预警,综合预警常见内容,通过对学校内部的论坛、社会上的常用互联网平台的监控，实时了解学校舆论的关注热点词，以及社会上对学校的舆论动态，并实时反馈给学校管理者和校领导，使学校做出及时的舆论导向工作。,舆情分析,招生就业,招生就业常见内容,年纪分步,学历分步,薪资分步,地域流向,职业分析,工作轨迹,数据安全,校园网,教师,研究生,本科生,网络日志数据,上网身份认证数据,学籍、人事数据,大数据存储与交换平台,大数据分析
7、平台,信息收集,通过校园信息化平台的各软硬件的日志和其它信息的收集分析，动态评估学校安全的整体情况。,网络设备,安全设备,服务器,业务系统,安全状态监控图,大数据业务模块（正在开发）,学生辅助就业,企业辅助招生,战略决策分析,资产管理分析,学习考试平台,高校应用大数据产品收益与价值,对学生进行一体化、全过程跟踪，了解每一个学生的真实情况对专业历史就业情况、社会当前就业需求详细分析，指导专业和课程动态调整改革及时预判学校在社会上的负面舆论，提前进行把控，保障学校声誉建设优秀学生的行为画像，为学生发展提供指导标准提供学生管理的实时预警，问题隐患提前疏导，防止出现意外事件为学校的高层领导战略决策的大
8、数据指导，进行管理模式创新关注学生的个性化需求，从关注学生群体转向关注学生个人通过大数据建设，有效提高承建部门的绩效,P1.现状分析,P2.大数据业务,P3.技术实现,P4.公司实力,P5.案例分析,P6.竞争分析,大数据“端到端”交付具体内容,需求调研,产品开发,技术服务,应用扩展,咨询设计,调研客户信息系统的现状调研客户数据源现状与质量调研学校大数据关注内容调研学校背景与发展需求评估技术实现可行性与规模数据样例分析,确定使用的大数据的关键技术确定使用的数据呈现模式制作完整的咨询规划落地方案协助客户进行项目规划与申报调研学校背景与发展需求,提供教育大数据产品与功能采集客户源数据针对性进行建模
9、与数据库设计针对客户需求进行对应的数据关系与挖掘分析提供大数据应用分析报表与结果,分析源数据的合理性与正确性学校源数据变化的整合新增业务的整合数据监控与管理技术培训教学合作.,开放接口，学校可自行开发大数据应用为学校增加新的大数据应用功能增加新的数据关联内容数据深度挖掘,教育大数据产品：架构,业务数据采集：公司自我研发的采集模块。外部数据采集：Apache开源爬虫工具、二次开发,静态数据：采用当前最流行的开源数据库Mysql动态数据：存储在HDFS上，使用Spark进行数据分析；热数据：存储在HBase上，进行快速检索,后台：使用SpringMvc+Hibernate+Druid+Shiro框
10、架前端：使用Jquery+BootStrap+Echarts组件,数据采集ETL,行政待办行政待阅审批申请,身份信息消费信息余额信息,学生信息考核信息奖惩信息资助,宿舍资源分配信息日常评比,学生信息老师信息考勤信息,学生系统,教务系统,宿舍系统,行政管理,图书馆管理,一卡通,其他系统,上网行为,课程信息班级信息排课排考成绩,身份信息访问告警流量信息,身份信息消费信息余额信息,各类数据输出,IN,IN,成绩信息宿舍评比一卡通信息,班级信息专业信息学生信息,老师信息学生信息,老师信息学生信息,卡身份,老师信息审批信息事务提醒,各类跨系统数据输入,数据 仓库,服务提供,数据清洗,数据清洗原则,数据清
11、洗示例,清洗规则：门禁系统，把没有卡id的数据过滤，并把每个卡ID和用户ID做关联，记录到门禁记录中一卡通系统：管理学生ID，增加学生姓名教务系统：过滤成绩为0的记录，过滤重复的课程、通过门禁系统、增加宿舍位置等学生信息：过滤无效的地址信息，通过身份证号码，适配学生省份、地市信息等,实际项目举例,数据建模,数据存储,Mysql,Hive,Hbase,Hdfs,MongoDB,Oracle,其它,集群二次开发和接口封装（DBBOX）,统一访问接口,统一对外接口,使用统一的大数据接口,数据入库,数据预处理数据预处理技术主要包括：清理源数据集中的噪声数据和无关数据。处理遗漏数据和清洗脏数据、空缺值。
12、识别删除孤立点。对数据按时间进行汇集。,存储和管理数据存储采取关系数据库存储和大数据系统存储并行的策略：关系数据库存储。采用MySql数据库集群。大数据数据库存储。采用HBase数据库。大数据文件系统HDFS存储系统管理采用Hadoop系统和ZooKeeper等管理工具。,大数据管理平台建设,Manage管理软件,科技为学校提供图形化、中文的大数据管理工具，用于学校老师日常的运维，主要功能包括如下：,安装部署数据查询权限设置元数据管理节点修改故障检测集群监控,大数据标准规范,建立高校大数据标准，对各个业务系统的数据进行规范梳理,业务前端展示所使用的技术,折线图,柱状图,仪表盘,饼图,预警信号,
13、地图,热点图,雷达图,教育大数据系统物理架构图（参考）,Data Node数据节点集群,Name Node,Name Node,Job Tracker,二层交换机,分步式文件域,域节点集群,Hmaster,二层交换机,分步式数据库域,关系性数据库,My SQL,二层交换机,关系数据库域,域节点集群,门户系统集群模式,统一代理系统,MR系统,Pig分析,Hive数据仓库系统,Chukma采集系统,应用系统域,安全运维域,大数据管理系统,ETL数据采集域,数据采集清冼、建模系统,数据挖掘分析域,数据关联与挖掘系统,交换机,用户域,数据存储系统,大数据产品硬件配备情况（参考）,大数据环境自动部署,大
14、数据后期服务与保障,技术服务：大型故障7x24小时上门解决驻场服务：1人驻场，3年更新服务：3年免费功能更新远程支持：普通问题远程支持与协助服务内容：新加数据，数据有错误，更新，硬件异常，扩容,运维保障服务,科技为学校原厂的大数据运维保障服务，协助学校日常大数据项目的管理，主要内容包括如下：,阶段任务分解需求调研需求文档编写需求评审需求确认,阶段里程碑完成需求文档编写完成需求确认,阶段验收条件需求文档符合规范需求邮件确认,需求阶段,准备阶段,阶段任务分解获取接口信息：资费系统获取接口信息：上网行为审计系统获取接口信息：考勤门禁系统获取接口信息：教务系统获取接口信息：一卡通系统获取接口信息：图书
15、管理系统获取接口信息：其它接口,阶段工期开始时间：2016-xx-xx结束时间：2016-xx-xx投入人员：x人,阶段里程碑每个接口信息获取都是里程碑验收标准接口信息文档收集完整,阶段任务分解数据建模资费系统、上网行为审计系统、考勤门禁系统、教务系统、一卡通系统、图书管理系统 数据采集处理外部数据爬取场景开发：例如我的大学、行为预警、就业指导，学生行为画像,阶段里程碑模型建立每项数据采集完成每个业务场景完成开发验收标准数据能正常采集例如：我的大学、行为预警、就业指导、学生行为画像能正常使用,开发阶段,测试和试运行阶段,阶段任务分解模块整合集成测试bug修复回归测试试运行,阶段里程碑学校大数据
16、版本发布验收标准学校大数据版本正常发布确认试运行使用情况,大数据项目建设实施,项目实施与建设安排,大数据方案优势小结,P1.现状分析,P2.大数据业务,P3.技术实现,P4.公司实力,P5.案例分析,P6.竞争分析,科技与海南师范大学合作，为学校构建了大数据一期项目，采集了学校校内业务系统（教务系统、一卡通、图书管理系统、上网认证计费、上网行为审计、考勤门禁）和互联网（各个坛论、招聘网站、就业网站）的数据，并进行了定制化的数据清洗与建模，构建了统一的数据仓库，还为学校开发了“学校概况”、“我的大学”、“就业指导”、“行为预警”、“舆情分析”、“优秀学生画像”等多个大数据业务模块。目前该项目还在
17、实施中，一期的功能模块预计在6月份可以实现开发完成与验收。 在二期规划建设中新增了辅助科研系统、战略决策平台、wifi地图分析、辅助就业平台、综合预警分析、资产管理等功能模块,海南师范大学案例分享,海南师范大学案例分享,P1.现状分析,P2.大数据业务,P3.技术实现,P4.公司实力,P5.案例分析,P6.竞争分析,市场上现阶段总体竞争情况,第三方大数据公司,代表公司：西嘉创智、从第三方的角度，进行全校大数据项目的制作，产品开发以及技术服务，与我司的定位类似我司在高教行业投入、大数据业务模块、云计算融合等方面具有一定优势,北京希嘉创智公司简介,北京希嘉创智科技有限公司是一家专注于大数据技术和服
18、务、云计算技术与研究的高科技公司，旗下拥有3家全资或控股子公司，分别在商业大数据领域、教育大数据领域、知识产权大数据领域及云计算与IT运维领域深耕。公司现有员工117人，其中技术人员占80%。,北京希嘉创智教育科技有限公司,2015年正式成为中国高等教育协会教育信息化分会企业会员单位，目前分别与北京大学、武汉大学、中南民族大学、武汉科技大学、大连理工大学展开了深度合作。阶段性成果包括基于高校业务共建的多个平台：多维数据交换平台、学生大数据预警管理平台、学校声誉大数据监控平台、大数据辅助科研平台等,武汉希嘉万维科技有限公司,成立仅二年，依托于华迪集团公司在咨询、集成、运维等方面的人才和经验积累，
19、高速发展。我们关注教育、电力、政府三大行业的信息化前期咨询、中期建设和后期运维工作。武汉希嘉以基础平台建设、信息安全建设、IT运维服务、大数据分析为四个主要业务发展方向，沉淀出自己的高密度绿色数据中心建设、高校宿舍无线基础网络建设、数据中心自动化运维、企业私有云信息安全、高校学生失联预警系统五大方案,北京希嘉创智公司竞争分析,分析一：北京希嘉创智研发实力分散在金融、高教、知识产权等多个领域，投入到高校层面的总体资源较少，从市场端反馈的情况看，希嘉对客户的需求响应比较缓慢。主要的研究精力都投入在高教领域，响应速度快，对海师客户大数据需求到完成的时间仅4个月左右,分析二：北京希嘉在高教大数据现推出
20、的模块只有学生预警管理、学校声誉监控、辅助科研三部份，具体建设效果还并不清楚，其它的正在研究中。现阶段除学生预警管理、学校声誉监控外，还开发出了如行为画像、我的大学、就业指导、大数据安全4个模块，而且都实现了项目落地，辅助科研正在进行开发中。在业务类型上优于北京希嘉创智。,分析三：北京希嘉在高校云计算领域技术沉淀和案例校少，武汉希嘉成立的时间也很短，正在人员扩招中。科技能够提供云计算与大数据融合，在云平台上实现大数据节点的自动部署，有效的降低大数据环境的部署难度和时间。,上海星环大数据产品价值点分析,曙光大数据产品价值点分析,曙光大数据平台高校应用举例,曙光宣传的高速大数据的应用内容，主要针对
21、于重点学科（电信、化学、物理、医学等）的大数据研究分析，据了解是曙光和某大学正在谈的合作内容，现在还没有见到任何成型的内容。,华为大数据产品价值点分析,大数据平台公司竞争总结,分析：从星环、华为、曙光、浪潮（平台OEM星环）主打的都是电商、公安、金融、运营商等领域，他们相互之间的竞争也非常厉害。比如从华为和星环，主要做100PB以上数据量的项目，高教基本处于了解阶段。星环计划从高教的科研入手，但目前只是在行业研究，还没有任何进展。从星环、华为、曙光、浪潮的对外宣传资料可以了解，主要价值点是高性能、超强稳定性、复杂处理等的能力，这些都是数据量大、实时性高的行业的关注需求。高教现阶段能够进行大数据
22、处理的校内数据量仅几十G（如监控视频产生的数据不算，现阶段还暂不能进行大数据处理），校外的数据量会比较大。高教大数据现阶段的最核心需求是针对性采集数据与建模、大数据业务、可管理性、长期服务等。这些都是教育大数据方案的核心优势。大数据团队来自之前做运营商大数据的团队，提供的分步式大数据平台不仅标准，而且性能非常出众，可满足每天对全省几千万用户产生的数据分析处理，并及时产生结果，完全可以满足高校大数据，包括科研、校外的大数据量的处理。,数字化校园公司的竞争分析,分析一：数字化校园厂商：对非自己的数据不够了解，需要重新打客户协调资源、数据获取，重新建模等，这些都不是这类公司的强项。现阶段数字化校园公
23、司投入的重点以及宣传的内容基本上都还是自己的数据做出的效果。科技：高校重视的是大量数据关联产生价值，科技为第三方公司，不受制约，现已实现近十类高校数据的分析处理。,分析二：数字化校园厂商：数字化校园系统基本上使用的是传统的单机或集群数据库，比如SQL、oralce，基本上不涉及分步式处理，比如hadoop。因此数字化校园厂商在分步式处理上能力和人才储备不足，基础平台满足不了大数据的要求。科技：大数据团队来自之前做运营商大数据的团队，以及美国硅谷团队，对分步式处理尤其是hadoop有近十年的项目经历，对传统数据库也非常了解。因此为客户提供的标准、分步式的底层平台优于数字化校园厂商。,数字化校园公司的大数据实质就是将自己数字化校园产品的数据提出来，做一些深度的分析与报表。优势是对自己的数据比较了解，而且数字化校园软件确实有一些重要的数据，但维度不足，而且主要偏向于管理类的数据。,分析三：数字化校园厂商：受绑定比较严重，后期学校只能一直采用相关厂商的产品与服务，与现阶段高校希望解绑的大形势相背。科技：第三方公司，产品与技术标准，接口可向学校开放，不存在技术绑定或者限制的问题。,高校大数据科技公司整体优势,
