1、基于传统 BI 系统的大数据分析平台建设 齐伟东 中国中钢股份有限公司 摘 要： 分析了大数据的发展和应用状况、钢铁贸易发展和贸易模式的变化、运用大数据辅助企业运营及应用大数据对目前 BI 系统架构的要求后, 提出了在企业目前BI 系统基础上实现大数据和传统数据分析的新架构, 并对未来基于大数据 BI的新应用场景和新的业务模式进行了探索研究。关键词： 大数据; 电子商务; 钢铁贸易; 数据挖掘; 商业智能; 收稿日期：2017-07-13Received： 2017-07-130 引言通过信息化手段对企业实现精细化的管理, 是提高企业核心竞争力的重要手段。目前大多数企业都建立了自己的 BI 系
2、统, 是否拥有一套精准的数据分析、快速的数据挖掘系统已成为衡量传统企业与现代企业的重要标准。随着大数据、云计算、电子商务、移动社交媒体等新一代 IT 技术的飞速发展, 企业传统 BI 系统的功能和架构已经不能完全适应大数据量、数据类型、分析需求等方面的要求, 迫切需要实施满足大数据分析的新的平台架构。1 大数据及钢铁电商发展状况大数据是信息技术产业持续增长的新动力, 大数据的运用将成为提高企业核心竞争力的关键因素, 各行业的战略决策正在从“业务驱动”转变为“数据驱动”。近年来, 钢铁行业面临的形势日益严峻, 产能过剩、资金紧张、亏损严重等问题成为行业顽疾。在这样的大背景下, 钢铁产业链中生产厂
3、、经销商、流通商都先后开始参与互联网应用, 通过互联网拓展市场。钢铁电商正在改变着钢材贸易领域, 并最终影响整个钢铁产业链的格局。这种大势所趋无法改变, 钢铁电商对传统钢铁行业带来了革命性改变。2 企业钢铁贸易需要大数据的支持钢铁电商的发展为企业大数据的应用提供了更充分的条件, 通过电子商务平台设置采购组织与物料、在线交易、服务中心和网上超市等板块, 不仅可以密切关注产品的交易情况, 还可以收集用户浏览网页的信息。此外还可以通过微信、微博等平台收集用户评论数据, 从而为决策或营销提供精确服务。如果说, 互联网是企业之车的左轮, 那么在互联网时代, 大数据将成为企业之车的右轮, 两者共同构成推动
4、企业持续前进的核心竞争力, 缺一不可。对于大多数钢铁企业而言, 运营领域是大数据最核心的应用领域。在过去, 钢铁企业主要使用来自生产经营中的各种报表数据及 BI 系统分析, 但随着大数据时代的到来, 来自于互联网、物联网、各种传感器的海量数据扑面而至。于是, 越来越多的钢铁企业开始挖掘和利用这些数据, 来推动运营效率的提升。大数据营销主要应用在渠道优化、精准营销信息推送、线上与线下营销的连接、帮助企业领导者做出决策这 4 个方面。3 大数据对企业传统 BI 体系的影响企业当前的分析平台是基于 Oracle BIEE 建立的商务智能系统。作为面向集团多个管理层级的经营分析系统, 以集团管控和专业
5、化管理作为灵魂, 对企业管理信息进行数字化、形象化、直观化、具体化的展示, 辅助企业高层进行管理决策。经营分析平台图 1 企业 BI 数据平台 下载原图目前公司的 BI 体系一直作为支撑系统的核心要素, 为企业的决策层、管理层和操作层提供了重要的数据。然而大数据时代的到来, 急切地需要一种技术使其能够访问和使用这些宝贵的、大规模数据集以应对越来越复杂的数据分析和更好的商业决策制定。大数据与传统 BI 有很多不同, 具体区别表现在数据量、信息特征、信息来源和涉及的关键技术上。传统 BI 的数据量不太大, 常为 TB 量级, 而大数据的信息量常为 PB 量级, 甚至为 ZB 量级。从信息特征上看,
6、 大数据能够基于 BI 工具对非机构化数据进行处理, 与传统基于事务的数据仓库系统相比较, 大数据分析不仅关注结构化的历史数据, 更倾向于对 Web、社交网络、RFID 传感器等非结构化海量数据进行分析。从信息来源看, 传统 BI 主要取自业务运营支撑系统、企业管理系统等, 比如采购、销售、库存、财务等企业数据。大数据主要来源于互联网、移动互联网等, 比如微博、电子商务等交互数据。在处理技术上, 大数据相对传统 BI 有更完善、更成熟的软硬件技术。例如, 基于开源的分布式并行计算技术, 使用廉价的计算设备解决海量数据, 集高并发行、高可用性、高扩展性等技术难题于一体;采用软硬件一体化设计技术提
7、高数据处理效率;采用大型机 X86 虚拟化技术在兼容现有系统的同时, 降低主机运营维护管理成本;采用 Flash 盘等新型存储技术提升 I/O 吞吐量等。大数据无疑是对公司 BI 系统的一个有益的补充, 它并不是要取代传统 BI 工具, 而是让 BI 更有价值和更有利于企业业务发展, 我们需要考虑的是如何通过大数据强化原有的 BI 体系。4 基于传统数据 BI 体系的大数据应用设计大数据时代的到来, 对企业传统 BI 架构的数据处理能力、数据存储能力以及更高的实时性分析能力和对非结构化数据等复杂数据源的分析能力等诸多方面都提出了更高的要求。如何充分发挥目前系统架构的功能将大数据和传统数据综合利
8、用, 是目前企业数据架构平台设计的关键因素。在分析传统数据与大数据的不同本质, 包括数据源、数据的采集方式、数据的存储模式、处理技术和应用方式等因素后, 企业设计了数据架构平台设计方案, 如图 2 所示。图 2 大数据与 BI 结合的数据平台 下载原图新架构的数据平台包括 5 层:数据源、数据采集、数据处理、数据存储、数据分析与应用。数据源统一整合了企业的内部数据和外部数据, 内部数据包括生产系统数据、ERP 业务平台数据、电子商务平台数据、财务报表数据、经营统计数据等;企业的外部数据包括竞争对手数据、客户信息、供应商信息、舆情数据、企业信用数据等, 还包括互联网上的视频、图片、文本等非结构化
9、数据。数据采集层在原有采集方式的基础上, 为获取互联网上的相关数据, 新增了网页爬虫的采集方式。数据处理采用分布式 ETL 技术, 对于结构化数据交由分布式结构化数据库处理, 非结构化数据处理为结构化数据后由分布式结构化数据库处理。企业传统数据仍保存在关系型数据仓库中, 大数据则以 MPP 架构数据库和分布式文件系统的方式进行保存。为做好大数据与传统数据的有效融合, 需要在新的架构上注重标准化能力的建设, 包括数据处理能力标准化、数据共享能力标准化和数据服务能力标准化等。对于非结构化数据, 提供一个标准化的处理能力, 包括对数据的解析、清洗、转换/计算、统计, 最终形成标准的结构化数据信息库,
10、 为数据共享服务夯实数据基础。重视平台管控能力建设, 针对所有功能的调度和监控, 通过 ETL 管理、ETL 监控、服务监控、资源监控等管理模块, 实现灵活的参数配置、统一管理。基于新架构平台所设计的应用架构体系如图 3 所示。图 3 基于新架构平台所设计的应用架构体系 下载原图通过 ETL 抽取应用系统及外部数据, 其中结构化数据交由 ODS 与数据仓库处理存储, 通过多维分析/数据挖掘等技术, 作为主要分析数据源;针对电子商务、舆情等实时数据, 按照数据是否结构化分别由数据仓库/ODS 和分布式计算平台处理, 其结果作为总体分析结果的次要数据来源。对于非结构化数据, 例如文本数据、多媒体数
11、据等, 则利用 Hadoop 技术处理并存储, 作为补充分析数据源, 然后进行内容挖掘、互联网行为分析等, 补充分析结果。在 ODS、数据仓库与大数据库基础上, 构建企业战略决策支持、企业管理分析、企业经营分析、企业运营分析、运营业务监控、客商分析、营销支持、产品研发等应用。数据应用通过 BI 及数据应用系统展现给数据分析结果的应用对象。BI 及企业数据应用系统主要供企业内部人员使用, 包括企业的决策者、分析者和操作者。预留数据服务提供接口供企业内外部人员使用, 提供大数据分析的结果。公司未来还将进一步完善大数据生命周期管理体系, 实现数据从规划、建设、运营到分析的全流程贯通, 并针对数据模型
12、、主数据管理、数据质量、数据安全、数据服务等建立全网统一的标准, 在此基础上建立全网数据应用模型库, 继续开发大数据应用, 提供面向企业管理决策、经营分析、市场营销、运营监控等各个方面全面、快速的数据服务和深入的分析挖掘专题, 提升企业运营智慧。参考文献1郑传峰, 吕兆星, 宋天龙, 等.企业大数据系统构建实战:技术、架构、实施与应用M.北京:机械工业出版社, 2017. 2刘云峰, 李丽, 王素美, 等.面向大数据的数据服务中心设计与应用研究J.通信学报, 2013 (z2) :170-174. 3李嫚, 姚文胜, 龚至晖.运营商基于大数据的 BI 架构重构及数据应用研究J.电信科学, 2013 (z1) :102-106. 4美Rajaraman A, Ullman J D.大数据:互联网大规模数据挖掘与分布式处理M.王斌, 译.北京:人民邮电出版社, 2012. 5周瑾.我国商务智能研究J.现代管理科学, 2007 (4) :44-45. 6刘同明, 等.数据挖掘技术及其应用M.北京:国防工业出版社, 2001.
