1、竞争情报分析技术_数据挖掘,目录 Contents,1,2,3,4,5,数据挖掘的基本概况,数据挖掘的功能与流程,数据挖掘的方法,数据挖掘的应用,数据挖掘的研究现状以及研究热点,背景 Background,为什么会出现数据挖掘？,数据爆炸性增长是数据挖掘技术应运而生的根本原因。只见树木，不见森林(整体与局部)计算复杂度数据管理问题数据类型的多样性,背景 Background,现实情况：人类积累的数据量以每月高于15%的速度增加，如果不借助强有力的挖掘工具，仅依靠人的能力来理解这些数据是不可能的。人们已经评估出世界上信息的数量每二十个月翻一番，并且数据库的数量与大小正在以更快的速度增长。(KB,
2、MB,GB,TB),数据爆炸，知识贫乏,著名的“啤酒尿布”案例：美国加州某个超级卖场通过数据挖掘发现，下班后前来购买婴儿尿布的男顾客大都购买啤酒。于是经理当机立断，重新布置货架，把啤酒类商品布置在婴儿尿布货架附近，并在二者之间放置佐酒食品，同时还把男士日常用品就近布置。这样，上述几种商品的销量大增。,实例 Examples,数据挖掘都干了些什么？,实例 Examples,数据挖掘都干了些什么？,实例 Examples,定义 Definition,历史 History,数据挖掘的进化历程,相关学科 Related Discipline,数据挖掘是一个交叉学科领域，受多个学科影响相关学科也是交叉学
3、科,主要功能 Main Function,流程 Process,各步骤之间互相影响、反复调整，形成一个螺旋式上升过程。,课本P195-196：,案例 Cases,英国 Safeway 公司,商 业 理 解：大部分竞争对手的价格及产品范围等方面都势均力敌，因此他们意识到，必须将关注的焦点从产品与店面角度转换到顾客角度，以客户为向导。,数 据 理 解 、 准 备 与 建 模 ：给客户发会员卡，顾客利用该卡结账，将搜集的数据从主数据库里提取出来存储在数据仓库中。公司将客户直接分为 150 大类，再用关联规则技术比较数据集，再列出产品吸引力的清单。,评 估 与 发 展 ：通过不断的挖掘工作，Safew
4、ay 公司发现了一些对公司决策相当有用的信息。,Safeway 公司是一家年销量超过一百亿美金，旗下员工接近七万名的连锁超市，是英国第三大连锁超市。,戴智杰, 袁卫, 谢邦昌. 超市里的数据挖掘J. 中国统计, 2005 (5): 42-43.,案例 Cases,贝尔大西洋公司,贝尔大西洋公司是美国最大的电话公司之一，在电话公司，追缴拖欠话费是一件很头疼的事情，不及时追缴会给公司带来很大损失，但如果每个人都进行追缴又带来很大的成本。 为此，贝尔大西洋公司建立了数据挖掘系统，帮助他们进行话费追缴决策。,第一步，将所有客户分为不同的类型，并建立不同的追缴欠费模型。系统根据数据分析，将公司客户分为8
5、种类型，并一共建立了40个追缴话费模型。,第二步，计算各种客户拖欠话费的概率，包括从一个月未缴话费到两个月未缴的可能性，从三个月未缴话费到变成坏债客户的可能性，从坏债客户到变成死债客户的可能性。,第三步，提出追缴策略线索，哪些客户应进行追缴，哪些客户可以暂时不追缴；在追缴的客户中，哪些应该采取高强度追缴，哪些客户只需要采取低强度追缴等。,方法 Means,方法 Means,统计分析：,方法 Means,关联分析：,方法 Means,顺序分析=序列关联：,方法 Means,决策树分析：,聚类分析：,方法 Means,方法 Means,遗传算法：,方法 Means,神经网络：,方法 Means,近
6、邻方法：,左图中，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果K=3(不包括绿色圆本身)，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果K=5，由于蓝色四方形比例为3/5，因此绿色圆被赋予蓝色四方形类。,方法 Means,粗集方法：,粗集理论是一种刻画不完整性和不确定性的数学工具，能有效的分析不精确、不一致、不完整等各种不完备的信息，还可以对数据进行分析和推理，从中发现隐含的知识，揭示潜在的规律。在数据挖掘领域，粗集方法被广泛应用于不精确、不确定、不完全信息的分类和知识获取。,应用 Applications,应用 Applications,电信：流失；银行：
7、聚类(细分),交叉销售；百货公司/超市：购物篮分析 (关联规则)；保险：细分，交叉销售，流失(原因分析)；信用卡：欺诈探测,细分；电子商务：网站日志分析；税务部门：偷漏税行为探测；警察机关：犯罪行为分析(毒品)；医学：医疗保健;.,应用领域：,应用 Applications,企业内部竞争情报挖掘的商业应用：,客户群体细分客户群体聚类分析实施交叉销售客户满意度分析客户信用分析客户盈利能力分析和预测,应用 Applications,企业外部竞争情报挖掘的商业应用：,宏观政策环境分析经济环境分析社会环境分析技术环境分析竞争对手分析客户需求分析合作伙伴分析,梁颖殷. 数据挖掘与竞争情报在商业领域的应用
8、J. 情报探索, 2009 (4): 47-49.,注意事项 Announcements,用数据挖掘解决什么样的商业问题,为进行数据挖掘所做的数据准备,数据挖掘的各种分析算法的选择,应用数据挖掘应注意的问题：,数据挖掘工具的选择,个人隐私问题,人员 Staffs,数据挖掘过程是分步实现的,不同的步骤需要有不同专长的人员,他们大体可以分为三类：,业务分析人员:要求精通业务,能够解释业务对象,并根据各业务对象确定出用于数据定义和挖掘算法的业务需求。数据分析人员:精通数据分析技术,并对统计学有较熟练的掌握,有能力把业务需求转化为数据挖掘的各步操作,并为每步操作选择合适的技术。数据管理人员:精通数据管
9、理技术,并从数据库或数据仓库中收集数据。,工具 Tools,钱峰. 国内数据挖掘工具研究综述 J. 情报杂志, 2008, 10: 11-13.,工具 Tools,工具 Tools,张雪英. 国外先进数据挖掘工具的比较分析J. 计算机工程, 2003, 29(16): 1-3.,研究热点 Hot Topics,Web挖掘：,Web 数据的收集，结构转换等预处理技术的研究现有的数据挖掘方法在适应性和时效性方面的研究基于Web 挖掘和信息检索的智能搜索引擎及相关技术的究Web 挖掘在特定领域如电子商务领域的应用研究半结构化文档挖掘,生物信息或基因的挖掘：,数据清理DNA 序列相似搜索和比对基因组特
10、征及基因序列的分析路径分析生物数据可视化和数据挖掘生物文献的挖掘基于隐私保护的数据挖掘,研究热点 Hot Topics,参考文献 References,1梁颖殷. 数据挖掘与竞争情报在商业领域的应用J. 情报探索, 2009 (4): 47-49.2钱峰. 国内数据挖掘工具研究综述 J. 情报杂志, 2008, 10: 11-13.3张雪英. 国外先进数据挖掘工具的比较分析J. 计算机工程, 2003, 29(16): 1-3.4戴智杰, 袁卫, 谢邦昌. 超市里的数据挖掘J. 中国统计, 2005 (5): 42-43.5王知津.竞争情报M. 科学技术文献出版社, 2005:191,194-
11、200.6张吉吉, 常桂然, 黄小原. 数据挖掘技术在 CRM 中的应用J. 中国管理科学, 2003, 11(1): 53-59.7魏娟, 梁静国. 基于数据挖掘技术的企业客户关系管理 (CRM)J. 商业研究, 2005 (7): 53-56.8可云, 凤占, 厚宽. 数据挖掘理论与应用M. 清华大学出版社, 2008.9黄解军, 万幼川. 基于数据挖掘的电子商务策略J. 计算机应用与软件, 2004, 21(7): 12-13.10钟晓, 马少平. 数据挖掘综述J. 模式识别与人工智能, 2001, 14(1): 48-55.11韩家炜, 裴健, 范明等.数据挖掘: 概念与技术M. 机械工业出版社, 2007.12廉捷, 周欣, 曹伟, 等. 新浪微博数据挖掘方案J. 清华大学学报: 自然科学版, 2011, 51(10): 1300-1305.,
