1、南开大学滨海学院本科生毕业论文中文题目：大数据时代企业竞争情报的创新与发展外文题目： The Innovation and Development of EnterprisesCompetitive Intelligence in the Big-data Era学 号： 10992807姓名：牛佳琳年级：2010级专业：信息管理与信息系统系别：信息管理系指导教师： 王知津完成日期：2014年4月16日“大数据”时代的来临，给各行各业带来了数据使用方式的根本性变革。本 文的研究正是基于大数据的兴起和竞争情报实践在企业进一步开展的时代背景， 对国内外相关文献进行了系统地归纳、总结和梳理，并在此基
2、础上 ，详细分析了 企业竞争情报面临的机遇和挑战，预测了企业竞争情报的发展方向。最后，从情报意识、情报组织团队、数据处理能力、数据可视化、情报安全制度等方面探讨 了大数据时代企业竞争情报工作的重点应对策略。本文对于相关学科的理论体系 是一次重要的补充与完善，对于把握未来企业竞争情报的创新与发展方向具有重 要的指导作用。关键词：大数据；竞争情报；数据处理；企业决策2AbstractThe Big-data era is coming,which will bring fundamental changes of data usage in all industries. Based on the
3、 background that Big Data has risen and that the competitive intelligence has been further practiced in enterprises these years, this study summarizes the related literature at home and abroad systematically.On the basis of discussion above,opportunities and challenges that enterprise competitive in
4、telligence must face are analyzed in detail and the development direction of enterprise competitive intelligence is forecast.Finally,strategies that enterprise competitive intelligence organizations must focus on in the era of Big Data are discussed and presented from aspects of the intelligence awa
5、reness,intelligence organization team,data processing capacity,data visualization,as well as intelligence security.The study improves the related theoretical system and plays a key role in grasping the innovation and direction of future enterprise competitive intelligence.Key words： big data; compet
6、itive intelligence; data processing; enterprise decision摘要IAbstract II目录III一、绪论1（一）研究背景 11 .大数据的兴起 12 .问题的引出 2（二）研究目的与意义 21 .研究目的 32 .研究意义 3（三）研究方法、研究思路与创新点 41 .研究方法 42 .研究思路 43 .创新点 5二、理论回顾与文献综述 6（一）大数据理论 61 .大数据的基本涵义 62 .大数据的关键技术 7（二）企业竞争情报理论 81 .企业竞争情报基本概念 82 .竞争情报对企业的意义 8（三）大数据时代企业竞争情报研究现状综述 91
7、.国外研究现状分析 92 .国内研究现状分析 103 .现有研究的贡献与不足 10三、大数据对企业竞争情报的影响 11（一）大数据给竞争情报带来的机遇 11iii1 .竞争情报的地位提升 112 .竞争情报的真实性提高 113 .竞争情报的精确性加强 124 .竞争情报的实时性加快 125 .竞争情报的分析能力增强 136 .竞争情报的工作成本降低 13（二）大数据给竞争情报带来的挑战 131 .数据处理能力 132 .情报安全问题 143 .企业决策问题 154 .人才紧缺问题 155 .竞争情报体系组织模式 16四、大数据时代企业竞争情报的发展 17（一）大数据时代企业竞争情报的发展方向
8、171 .发展重心向移动互联网转移 172 .更加注重动态竞争情报 17（二）大数据时代企业竞争情报的应对策略 181 .树立基于大数据的竞争情报意识 182 .组建具有大数据分析能力的竞争情报团队 193 .提高企业的大数据处理能力 194 .促进企业数据分析的可视化 205 .构建基于云计算的企业竞争情报系统 216 .加强情报安全制度建设 21五、研究结论与展望 23（一）研究结论与局限 231 .主要结论 232 .研究局限 24（二）未来研究展望 24参考文献26致谢28IV随着信息技术和网络技术的快速发展， 数据呈现爆炸式增长，并且呈现出惊 人的数量。人、机、物三元世界的高度融合引
9、发了数据规模的爆炸式增长和数据 模式的高度复杂化，据国际数据公司（IDC）的研究报告称，2011年全球被创建和 被复制的数据总量为1.8ZB （10的21次方），其中75%来自于个人（主要是图 片、视频和音乐），远远超过人类有史以来所有印刷材料的数据总量（200PB）, 并预测到2020年，全球以电子形式存储的数据量将达到35ZB,是2009年全球存储量的45倍，而这其中，企业数据正在以55%的速度逐年增长.IDC预测，大 数据技术与服务市场将从2010年的32亿美元攀升至2015年的169亿美元，年 增长率达40%,是整个IT与通信产业增长率的7倍Barry Devlin.The 2011
10、Digital Universe Study: Extracting Value from Chaos.International Data Corporation and EMC, 2011（6）:33-39.1Masanori Arita.Big Data. Nature, 2008(7209): 1-26.2 Sandrine Bony.Dealing with data. Science, 2011,331(6018): 639-706.3王忠.美国推动大数据技术发展的战略价值及启示.中国发展观察,2012(6): 44-45.4 Stefan Manegold, Martin Ker
11、sten.Big Data. ERCIM News, 2012(89):33-36.。同时仅在中国，2013年 中国产生的数据总量超过0.8ZB （相当于8亿TB）, 2倍于2012年，相当于2009 年全球的数据总量。预计到2020年，中国产生的数据总量将是2013年的10倍， 超过8.5ZB。大数据时代已悄然而至。（一）研究背景变化迅速的数 为后续的研究随着信息技术和网络技术的高速发展，数量庞大、类型多样、 据充斥在生活的方方面面。本节在详细介绍了大数据的兴起背景， 奠定了良好的基础。1 .大数据的兴起现如今大数据被描述为“未来的新石油”，渗透在各行各业并且主要来自日 常生活，特别是互联网
12、公司的服务。例如，百度每天响应来自138个国家和地区 的数十亿次请求，每日新增数据10TB,要处理超过100PB的数据且从浩如烟海的信息中精确抓取约10亿网页；腾讯QQ目前拥有超过8亿的用户和4亿移动用 户，在数据仓库存储的数据量单机群数量已达到4400台，总存储数据量经压缩处理以后在100PB左右，并且这一数据还在以每日新增200TB至ij 300TB,月增加10%勺数据量不断增长；Facebook的用户数量超过了 10亿，每天产生的数据量 超过了 300TB其实早在上个世纪八十年代就有人提出了 “大数据”的概念，在随后的 20 多年来里，美国企业界、学术界对它进行了深入的探讨和研究。200
13、1年，高德纳(Gartner)公司的一份研究报告首次出现“大数据(Big Data)”概念的提法； 2008年9月，Nature杂志发表了题为“ Big data”的专题文章，首次提出了大数 据名词1,并从互联网技术、网络经济学、超级计算、环境科学、生物医药等多 个方面介绍了海量数据带来的挑战；2009年，联合国提出“数据脉动”，并发布联 合国“全球脉动”计划一一大数据发展带来的机遇与挑战 报告；2011年Science 推出关于数据处理的专刊“Dealing with data” 2,讨论了数据洪流(Data Deluge) 所带来的挑战，特别指出，倘若能够更有效地组织和使用这些数据，人们将
14、得到更多的机会发挥科学技术对社会发展的巨大推动作用；同年 6月，IBM、麦肯锡 等众多著名研究机构相继发布了 “大数据”相关的研究报告，指出了大数据研究 的地位以及将给社会带来的价值；2012年3月，美国政府在白宫网站上发布了 大数据研究和发展计划(Big Data Research and Development Initiative) 3,并且宣布投资2亿美元启动此计划，该计划旨在提高和改进人们从海量和复杂的数 据中获取知识的能力，进而加速美国在科学与工程领域发明的步伐，增强国家安全；同年4月欧洲信息学与数学研究协会会刊ERCIM News出版了专刊“ BigData” 4,讨论了大数据时
15、代的数据管理、数据密集型研究的创新技术等问题， 并介绍了欧洲科研机构开展的研究活动和取得的创新性进展；2012年11月，首届数据科学与信息产业大会在北京过技术学研究中心召开，标志学术界、产业界、资本市场形成共识；2013年，大数据已成为国内IT产业曝光率最高的词汇之一。 这些报告、计划无不标志着大数据已悄然兴起，并且已经成为了重要的时代特征。2 .问题的引出综合以上背景分析，我们得出以下结论：(1)大数据的兴起和蓬勃发展及其 技术优势给企业竞争情报的研究与实践提供了必要的技术支撑；(2)大数据时代， 企业对竞争情报工作的期待值更高，提出了更为个性化、智能化的迫切需求，并且希望通过对大数据的开发
16、，不断改善其产品和服务以及企业自身的灵活度。(3) 在企业竞争情报工作中应用大数据技术具备理论和现实的必要性和可行性。面对这些大数据带给我们的不同机遇和挑战，企业该如何应对？本文将会以 大数据时代与企业竞争情报的结合为切入点来探讨这些问题。(二)研究目的与意义综上所述，本节将确定本文的研究目的和研究意义，并将其细化成具体的若干部分。1 .研究目的随着物联网、互联网、社会化网络的快速发展，数据呈现爆炸式增长，“大数据”时代的来临，给企业带来了数据使用方式的根本性变革。本研究在查找大量文献、报告的基础上详细介绍了大数据的发展背景和大数 据在企业竞争情报中的应用方法与技术， 并对其进行梳理、分析总结
17、，对大数据 时代下的企业竞争情报的创新和发展进行了探索性地研究，完成以下研究内容： 第一，对大数据、竞争情报理论等进行了研究梳理；第二，研究大数据对企业竞 争情报的影响；第三，对大数据时代，企业竞争情报的发展进行了研究和预测； 最后，完成研究主体一一大数据时代企业竞争情报的创新与发展。希望本研究的结论能够帮助企业提高对数据的收集、整理、分析和提取情报 的能力，使其能够从数据中挖掘到事物之间的相互关系， 从而从根本上提高企业 的竞争力，让其立于不败之地。2 .研究意义本研究介绍了大数据的发展背景和在企业竞争情报中的应用方法与技术，并且通过对大数据理论和竞争情报理论的梳理、 分析和总结，探索性地研
18、究了大数 据给企业竞争情报带来的机遇与挑战，以及未来的发展方向和应对策略，本研究 对大数据时代企业竞争情报的创新与发展具有重要意义。第一，论文结合经济和社会发展的实际情况，通过对先进热点的“大数据” 进行分析，把大数据技术应用到企业竞争情报的关键性问题上，为今后开展企业竞争情报的理论与实践研究提供借鉴，这将有利于提高社会对大力促进大数据时 代下竞争情报发展的重要性和紧迫性的认识。第二，本论文的研究将有助于提高学术界和业界对大数据和竞争情报的关注 程度，有利于激活企业对大数据技术的潜在需求， 从而给业界带来巨大的市场空 间和商业价值，有利于提升企业自主创新能力和综合竞争力。第三，本论文的研究成果
19、有利于企业竞争情报走向社会化、 集约化和专业化， 有利于企业个性化智能化地获得竞争情报， 提高效率，增强决策的准确性，提高 核心竞争力。第四，本论文的研究成果对其他领域的大数据应用也有借鉴和参考价值，利于大数据在全社会各领域的推广应用。（三）研究方法、研究思路与创新点只有正确的研究方法和系统的研究思路才能高效的对大数据时代的企业竞 争情报进行深入的研究，本节将对这两部分进行具体的展开同时还会探讨本文的 创新点。1 .研究方法选择正确的研究方法是实现研究目标的关键， 本文研究的内容涉及到计算机 学科（大数据）、竞争情报和管理科学，理论性与实践性都很强。本文的研究将 采用多学科综合的研究方法，应用
20、大数据理论与技术、竞争情报理论和管理科学 等基本理论，结合一些具体的研究方法，系统地开展研究。2 .研究思路本文的研究思路和方法如图1.1 ,分为以下五步：第一，文献梳理及国内外研究现状。根据研究目标对论文涉及到的大数据、 竞争情报的相关理论与技术、国内外前沿研究现状和趋势采用文献分析法和概念 分析法进行系统的收集、梳理和归纳，为论文的研究作铺垫。第二，大数据对企业竞争情报的影响。采用文献分析法、案例研究法和经验 总结法将大数据对企业竞争情报的研究划分为机遇和挑战并且分别就这两方面 展开了详细的分析研究。第三，大数据时代企业竞争情报的发展。大数据的巨大影响力将会促使企业 的竞争情报朝着什么方向
21、发展，以及面对这样的发展趋势企业应如何应对。这一 部分采用了经验总结法和定性分析法对以上两个问题进行了详细的分析。第四，研究结论与展望。这一部分采用归纳总结法梳理了本文的研究结论和 研究局限性，并且展望了未来关于大数据时代下企业竞争情报的创新与发展的研 究。第五，完成学位论文撰写。文献梳理及国内外研究现状大数据竞争情报研究现状文献分析法概念分析法归纳总结法、孑大数据对企业竞争情报的影响机遇挑战文献分析法归纳总结法研究结论与展望归纳总结法定性分析法发展方向应对策略归纳总结法3 .创新点从理论视角系统梳本研究的创新之处在于本文通过大量搜集现有中外文献,理了大数据时代企业竞争情报的若干问题。 近年来
22、基于大数据的竞争情报的研究 尚不成熟，比较零散。本研究的特色和创新之处在于将计算机科学（大数据）、竞争情报和管理科学三者相结合，把大数据的理论和技术探索性地引入到企业竞 争情报的研究领域，提出了一种新的更加高效和智能的， 面向个性化服务的企业 竞争情报建设的研究思路。二、理论回顾与文献综述本章分别对大数据理论和企业竞争情报理论的相关研究文献进行回顾和综 述。大数据部分，主要是对大数据的基本含义、关键技术等分别进行综述；竞争 情报部分，主要对企业竞争情报的相关概念和意义进行了综述。 通过相关理论的 文献回顾及现状分析，以明确本论文的研究范围，为后继展开大数据时代下企业 竞争情报的创新与发展的研究
23、奠定理论和技术基础。（一）大数据理论随着大数据逐渐被人们所熟知，对大数据的研究也是层出不穷。本节主要介 绍了大数据的基本涵义和关键技术。1 .大数据的基本涵义顾名思义，“big”即数据量大，因而在国内有人将其翻译为海量数据或大规 模数据，但笔者认为它并不能完全概括大数据的本质内涵。在自然科学、金融、 通信等行业早就存在着海量数据，但人们并没有将这种海量数据命名为“大数 据”。本研究对国内外典型的关于大数据的观点进行了归纳与梳理，如表 2.1表2.1国内外大数据概念的主要观点研究者概念描述关键因素John Rauser大数据是任何超过了一台计算机处理能力的庞大数据量1。维基百科大数据是指数据量规
24、模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息2。白度白科大数据指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为 帮助企业经营决策更积极目的的资讯3。但彬简言之，“大数据”是“海量数据”+复杂类型的数据4。Gartner大数据是大容量、高速和多样化的信息资产，它们需要新的处理方式，以提高决策能力、洞察力和流程优化5。1一一. . _Philip Russom.big data analytiCsEB/OL.2012-08-01.http: Big dataEB/OL.2012-08-18.http:zh.
25、wikipedia.org/wiki/ 大数据.3大数据EB/OL.2012-08-18.http:/ http:/ Big data in little New ZealandEB/OL.2012-09-06.http:/www.techday.co.nz/itbrief/news/big-data-in-little-new-zealand/24518/.NetApp大数据应该包括 A、B、C三个要素：大分析(Analytic)、高 带范(Bandwidth )和人内谷(Content),其中大分析帮助用 户获得价值，高带宽让数据处理速度更快，大内容指的是不丢失任何信息并实现高扩展陈文俊.
26、大数据包括大分析、高带宽和大内容EB/OLH2012-07-12.http:/ 量、结构复杂、内容多样的数据集中，以较快速度解析出规律性或根本性的判断、 趋势或预见。本研究总结了大数据的“四 V”特征以便更好的理解其涵义：第一，数量大(Volume Big )目前海量数据已经出现在了传感器网络、位置导航系统、社会化网络、即时 通讯、电子商务、数字图书馆等领域而且规模在不断扩大。如淘宝目前每天产生的数据量已经超过7TB,共有超过10亿条产品信息和4亿多名注册用户在上面 活动。第二，多样化(Variable Type )目前越来越多的领域产生了大数据，大数据的类型繁多，其中包括照片、动 画、视频、
27、导航信息和链接信息等信息。伴随着社会化网络、移动互联网和物联 网的不断发展，大数据中绝大多数都是非结构化或半结构化数据，数据结构是不固定、不规则的。第三，快速化(Velocity Fast )大数据时代，数据流往往为高速实时数据流，这就要求快速的分析处理速度， 和持续的实时处理能力，否则分析结果可能就是过时的、无效的。第四，价值高和密度低(Value High and Low Density )大数据犹如一座富矿，通过挖掘、分析和充分利用，可为企业带来新的发展 机遇，从而创造更大的商业价值。大数据分析能从海量数据中发现高价值的情报， 从而为企业决策提供有力的支持。以视频监控为例，虽然在连续不断
28、的监控流中， 绝大部分可能没有实际价值，但很可能从仅为几秒钟的数据流中， 就可以挖掘出 最有价值的图像信息。大数据分析就是要进行披沙拣金，发现有价值的信息。2 .大数据的关键技术1大数据虽然看不见摸不到，却与我们的生活息息相关，并潜行于当前的信息 生产、加工、交换过程之中。事实上我们已经享受到的某些信息服务就是大数据 技术的功劳。如在网站中看到的是自己有需求或者感兴趣的广告，而不是其他无 关的广告。大数据技术涉及的技术层面很广，至少包括如下一些现有技术：关联规则分 析、分类、分组分析、数据融合和数据集成、数据挖掘、遗传算法、众包技术、 数据异构与同构、机器学习、自然语言处理、神经网络、模式识别
29、、预测模型、 情态分析、信号处理、时序分析和可视化处理等。上述每一项技术如果展开来说，需要写很多篇文章来讨论。如关联规则分析， 是数据挖掘中用来发现大数据库中各种变量之间有趣关系的一系列算法。应用之一就是“购物篮”分析，通过数据分析可以在门店的销售过程中找到具有关联关 系的商品，并以此获得销售受益的增长。比如研究发现超市中购买啤酒的消费者 也易于购买纸尿裤。（二）企业竞争情报理论对大数据时代下的企业竞争情报的研究应该是从两个方面入手，第一是大数据，第二是企业竞争情报。因此本节从竞争情报角度概括和分析了企业竞争情报 的基本概念和意义。1 .企业竞争情报基本概念企业竞争情报指企业为了在激烈的竞争环
30、境中获得竞争优势， 在法律和道德 允许的前提下系统地收集、分析、管理和利用情报信息的过程。这些竞争情报信 息主要包括竞争对手、竞争策略和竞争环境。企业竞争情报的主要作用是为企业的预测和管理决策提供有力的支持。企业竞争情报既是一种过程，也是一种产品。过程包括了对竞争信息的收集和分析； 产品包括了由此形成的情报和策略。2 .竞争情报对企业的意义竞争情报是企业的重要资源，与企业的发展紧密相关。第一，竞争情报是企业决策的依据。竞争情报的实施关键在于员工的参与及竞争情报的收集、 分析和处理。因此, 只有充分掌握并利用数据收集和分析的方法，才能发现竞争对手和竞争环境的最 新动态，从而制定出有效的竞争战略。
31、第二，竞争情报指出了产品创新的方向。只有产品做得好，企业才能经营好。想要做好产品，就需要及时准确地掌握 竞争对手的产品开发重点，从而确定企业自身产品的开发方向。 然而若要做到这 一点，就需要进行有针对性的竞争对手情报研究，在产品上形成“人无我有、人 有我优”的竞争优势。第三，竞争情报为企业提供了营销的切入点。在企业的市场营销工作中，若想做出科学的营销决策，必须以竞争情报的相 关知识为基础，慎重考虑企业自身以及目标市场所处的政治、经济、社会、文化 等因素。企业竞争情报能够及时获悉竞争环境、竞争对手和目标市场的变化情况， 为决策者提供相关的预测信息，从而为企业提供了市场营销的切入点。（三）大数据时
32、代企业竞争情报研究现状综述当数据和黄金一样成为一种新的经济资产，当科研处于以数据为基础进行科 学发现的第四范式，当数据开始变革教育，这些无不宣告着我们已经进入了大数 据时代。大数据作为IT技术和信息化的热点和趋势，引起了国家、社会和企业越来 越多的关注，不同的学科领域正在不同的层面上广泛地关注着大数据对自己的研 究和实践带来的深刻影响，也产生了一些研究成果。这些研究主要集中在计算机 科学、管理科学、图书馆学等领域，但是在竞争情报领域的相关研究成果仍然非 常少。1 .国外研究现状分析通过IEEE、EBSCO等的跨库检索、互联网搜索和相关图书的阅读，以及对 检索结果进行信息筛选，剔除相关性较低的文
33、章后共得到以下文章，如表2.2所示：表2.2国外大数据在竞争情报相关领域的研究综述序号作者主要贞献1麦肯锡提出了不问类型数据的状态和隐藏在这些数据中的无限价 值。2Anand Rajaraman,Jeffrey David Ullman主要分析了企业极大规模数据的挖掘技术。3Bill Franks提出了处理大数据和在企业中培养创新和探索文化所需的 工具、流程和方法，描绘了一个易于实施的行动计划。4城田真琴结合野村综合研究独家披露的调查数据，网罗了美国、日 本标杆企业的应用案例，总结了大数据的商业模式，并就 如何为大数据时代给企业竞争情报带来的根本性变革做好准备展开了深入的探讨，提出了诸多有益的
34、建议。5Nate Silver利用大数据成功预测了2012美国选举结果。6麻省理工学院利用手机定位数据和交通数据建立城市规划。资料来源：本研究整理2 .国内研究现状分析通过CNKI,维普等的跨库检索、互联网搜索和相关图书的阅读，以及对检索 结果进行信息筛选，剔除相关性较低的文章后共得到以下文章，如表 2.3所示:表2.3国内大数据在竞争情报相关领域的研究综述序号作者著作名称主要贞献1刘局男， 汪会玲， 吴金红大数据时代的竞争情报发展动向探析详细介绍了大数据的概念、特征，深入剖析了大 数据对企业的影响，并对企业未来的竞争情报工 作的研究重点进行了预测。2李广建，杨林大数据视角下的情报研究与情报研
35、究技术分析了在大数据背景下，情报研究工作的趋势和 相关的技术问题。3邢镇大数据驱动下的北青新讲坛的运营与共享模式阐述了北青新讲坛的社会化媒体特征和表现形式，进而提出了基于大数据采集与挖掘的北青新讲坛的运营模式和社会化数据共享模式。4张文彦 武瑞原 于洁大数据时代的图书馆初探深入探析了关于图书馆职业已有的大数据研究 与实践以及大数据应用于图书馆可能产生的问 题暨研究导向。资料来源：本研究整理3 .现有研究的贡献与不足综上所述，国内外研究学者都表达了在企业竞争中引入大数据理念和技术方 法是必要的也是可行的，并且对相关问题进行了初步研究，但大多数只是着重研 究了大数据的内涵、特点，大数据方法、构架、
36、技术以及大数据带来的产业变革。 商业模式变革和社会变革。大数据在竞争情报领域的研究目前尚未引起应有的足 够关注，亟需学术界、企业界从各方面加以全面深入研究。鉴于此，本研究致力 于借鉴国内外相关领域的大数据和竞争情报理论与实践应用成果，对大数据时代企业竞争情报的创新与发展进行深入探究。三、大数据对企业竞争情报的影响在大数据时代，数据在企业中起到决定性的作用。作为构筑在数据分析基础 上的情报研究正是利用数据信息提炼出有价值的情报，为决策者提供有关方案。企业竞争情报分析就是从原始数据中发现关于竞争环境、竞争对手和竞争策 略的情报信息，从而形成高价值的产品。因此，大数据与企业竞争情报关系紧密， 并且会
37、对其产生根本性的影响。（一）大数据给竞争情报带来的机遇大数据在很大程度上影响着企业的发展，这种影响主要体现在机遇和挑战两 个方面。本节分别从竞争情报的地位、真实性、精确性、实时性和分析能力与工 作成本等几个方面深入探讨了大数据给竞争情报带来的机遇。1 .竞争情报的地位提升大数据时代，数据已经渗透在了人们生活的各个方面， 并且逐渐成为企业的 重要资产，大数据的分析运用将成为企业决策和取得竞争优势的基础和关键。IBM 一项调查显示：2011年58%的企业已经将数据分析技术用于在市场或行业 内创造竞争优势，实现业务价值，同比增加了 21%大数据时代：个人信息安全该如何保障EB/OL.2012-08-
38、10.http:/ 的重新审视，Teradata公司首席客户官周俊凌认为，企业必须要有一些专注于数 据研究的科学家，一旦有了数据科学家，企业需要对数据科学进行相关培训，了 解相关的业务大数据时代：看各存储厂商如何应对 EB/OLH2012-07-25.http:/ 据分析获得关于竞争环境、竞争对手和竞争策略的信息，从而支持企业决策，为 企业创造核心的竞争优势。也就是说，虽然其称谓不同，但其工作属于竞争情报 的范畴。目前，一些大型的企业都设有专门的数据分析师， 如阿里巴巴就有一百 多个数据分析家，他们在不同的部门都在对数据进行分析， 共享分析过程和分析 结果以及和数据管理员、企业管理层形成合作性
39、的数据分析。2 .竞争情报的真实性提高数据来源于生活的方方面面，这些不同来源的数据集中反映着企业竞争对手、竞争环境、竞争策略以及企业自身的方方面面，可以指导企业全业务流程的任何一个环节进行有效运营和优化，并帮助企业做出最明智的决策。大数据分析 能够帮助企业洞察到数据中有价值的情报信息，并将其应用到现有业务中。同时，大数据不仅是数量上的堆砌，而且是具有很强的关联性，用户与用户、用户与用 户行为、行为与行为之间都具有确定的关联性，数据就具有极高的含金量。3 .竞争情报的精确性加强大数据时代的一个重要趋势是数据的社会化，从微博、论坛到游戏、微信再 到Twitter、facebook等社交网站，从互联
40、网到移动互联网再到物联网,到处都可 以发现客户各类网络活动所产生的相关数据记录。通过分析这些社会化数据，了 解这些非结构化内容中所表达的想法和趋势，使得竞争情报工作者能够迅速捕捉用户情绪变化、行为习惯和市场走向，从而使企业制定出更加贴近客户的市场营 销策略，掌控数据增值的“金钥匙”。这些第一手资讯，为企业提供精准的和预判 性的客户竞争情报，增强了竞争情报的精确性，从而让企业在激烈的竞争环境中 更加容易占取主动地位。4 .竞争情报的实时性加快当前，互联网的重心已经向着移动互联网转移。 截至2013年12月底，中国网 民数量达到6.18亿，手机网民达到5亿，占总体网民中的比例达到了 81%,手 机
41、超越台式电脑成为第一大上网终端，中国互联网已经进入了移动互联网时代。在现在的生活和工作中，手机上网已经成为了人们的一种习惯，不仅个人，越来越多的企业开通了官方微博、公众微信，第一时间发布自己的产品信息、优 惠活动、人事变动等重要信息，而普通用户则随时针对特定的事件或对象发表自 己的见解。如今，通过智能手机、平板电脑甚至具有网络功能的照相机、摄像机 等泛互联网设备所产生的信息占互联网信息总量的1/2以上。如能及时获取、分析、利用这些实时传播的数据，将极大地提高竞争情报的时效性和企业的应变能 力。如2012年5月18日，即Facebook上市当天,社交媒体监测平台 DataSift 通过分析Twi
42、tter上的情感倾向，成功地预测了 Facebook的股价波动，延迟情况 只有几分钟到20多分钟数据来源：网易新闻. 蒋颖,金碧辉，刘筱敏.期刊论文的作者合作度与合作作者的自引分析.图书情报工作，2000(12): 23-28.。5 .竞争情报的分析能力增强为了更好的抓住大数据时代的发展机遇，越来愈多的研究机构开始研究大数 据相关的新技术，并且涌现出了一些新的产品。在信息采集方面，Topsy、Storm等实时搜索引擎因为其每秒钟能够索引万份文档的强大搜索实力而基本上满足 了信息的实时性需求；在数据存储方面，Hadoop HBase以及NoSql等充分利用集群的方法进行高速运算和存储，实现了大规
43、模数据的分布式存储以及不同类型 数据之间的关联；在数据分析方面，有 Google提出的MapReduce其提供了在 计算集群下分布处理大数据的软件框架，利用 MapReduce勺C+魏程工具，开发 人员可以开发出跨处理器分布式集群或独立计算机能够并行处理海量非结构化 数据的程序，实现大规模数据集的并行计算；SAP提出的内存计算能够加快数据 计算的速度，使其呈几何级的增长。6 .竞争情报的工作成本降低数据竞争已经成为企业提升核心竞争力的利器， 每个企业都希望充分利用大 数据技术洞察到竞争环境和竞争对手的细微变化，从而快速响应，制定有效竞争策略。然而企业只有拥有了大量的存储设备和计算资源后才能使大
44、数据分析工作 正常进行，而这些基础设施并不是每个企业都有能力购买的。“云”的出现给企业带来了灵感：首先，云存储的出现使企业能够把海量数 据存储在云端，既节约了实际的存储空间，又方便了数据的共享和交换；再者， 云计算的出现使企业能够更加高效的建立基础架构，使大数据等各类应用能够更灵活的运转起来，通过云计算的IaaS、PaaS和SaaS服务模式快速获取信息基础 设施的平台和软件，将廉价的数据存储与强大的数据分析连接起来，使得数据集合与分享无缝连接以及跟踪分析和挖掘等全部在云端得以实现，大大降低了企业竞争情报的工作成本。(二)大数据给竞争情报带来的挑战本节从数据处理、情报安全、企业决策、人才紧缺和组
45、织模式等几个方面深 入研究了大数据给企业竞争情报工作带来的全新挑战。1 .数据处理能力(1)情报存储问题正如研究背景中统计数据所显示的那样，数据的大爆炸和多年的信息化使得 企业产生、积累了海量的数据，企业竞争情报关注的数据已经从以前重点关注的 内部业务数据，到包括电子商务、社交媒体、物联网等在内的社会化数据。未来 竞争情报系统将会面对TB级的数据集，这些数据不仅数量庞大而且类型复杂， 传统的数据库部署无法处理TB级别的数据，也不能很好的支持高级别、高复杂性 的情报分析，竞争情报系统的数据存储能力和技术体系正在接受着严格的考验。(2)情报分析问题大数据时代企业竞争情报来源的结构发生了变化，企业所收集的数据通常是 来自于社交网络、电子商务、物联网等渠道的图片、动画、音频、视频等非结构 化数据。统计数据显示，企业中大约15%勺数据是2构化的，85%是非结构化或半 结构化的，而且，非结构化数据的增长速率远远大于结构化数据 ，前者为63%,后 者仅为32%。然而企业现有的竞争情报的分析工具一般都是对数据进行集中式处理，这样的数据处理方法往往仅适用于结构化数据的处理，对于半结构化或者非结构化的 数据不能进行直接处理，企业通常
