1、竞争情报系统的发展趋势、关键技术和应用,施水才 2006年,内容提要,国内CI软件的发展状况及面临的问题国内外CI软件的发展趋势分析CI软件中的关键技术和应用 信息搜索技术 内容管理技术 文本挖掘技术4. 总结,国内CI软件发展状况 市场稳步发展 技术长足进步 市场竞争激烈 探索跨界合作国内CI软件面临的问题 国内CI软件面临的问题 我们应该如何面对这些问题和挑战,回顾国内CI软件的发展状况及面临的问题,市场稳步发展CI工具提供商已为近百家企业导入CI系统,中国网通中国电信普天集团,中石化广州石化烟台万华燕山石化,上海宝钢武汉钢铁,电信,石化,钢铁,索尼中国佳能中国海尔集团,电子制造,北京烟草
2、常德卷烟昆明卷烟,烟草,中国银行香港华润海南航空,其他,上海大众汇众汽车,汽车,这些企业大部分集中在电信、石化、汽车、钢铁、电子制造、烟草以及部分大型集团性企业。,技术长足进步国内CI系统技术水平逐步接近国外水平,国外知名CI工具提供商Cipher Systems(Knowledge Works)Comintell AB(Knowledge Xchange)Novintel(Viva Intelligence Portal)Traction Software (TeamPage)国内知名CI工具提供商TRS (TRS CIS)Baidu(ECIS),市场竞争激烈大浪淘沙，部分CI工具提供商淡出
3、市场,2005年CI工具市场上的主要提供商TRS Baidu天下互联易地平方赛迪数据2006年CI工具市场上的主要提供商TRS Baidu,探索跨界合作 CI工具提供商谋求提供综合性服务,对CIS系统的定位错误，认为CIS系统是万金油，可以完全代替人的工作。企业竞争情报体系框架的缺失，导致CIS不能够真正发挥其作用。由于技术的原因，CIS在情报分析方面的作用有待加强。企业 CIS的建设过程也是一个企业情报资源规划的过程、是一个导入咨询的过程，目前CI软件提供商缺乏这方面的能力。5. 竞争情报服务产业链处于初级阶段，工具提供商和内容提供商缺乏有效的合作，目前CIS系统大部分只实现了对互联网信息和
4、企业内部信息的整合和搜索，缺乏对收费商业数据库的集成。,国内CI软件面临的问题,1. CIS的正确定位完善企业竞争情报体系框架推动情报分析技术的发展和应用加强竞争情报的导入咨询力度借鉴国外经验，推动厂商的合作,我们如何面对这些问题和挑战?,CIS系统的正确定位应用架构,CIS系统的正确定位应用价值,情报规划：建立统一的情报资源分类体系和信息资源库，消除情报信息孤岛情报采集：提高情报工作的系统性和连续性，情报信息的及时性和有效性。情报加工：改变情报人员的2/8漏斗工作状态，提高情报研究效率。情报服务：拓展情报服务范围，提高情报服务水平。5. 评估反馈：建立起情报需求和反馈机制，准确把握领导需求。
5、,完善企业竞争情报框架体系企业情报体系框架,竞争情报部门,竞争情报文化,建立KIT管理流程,竞争对手分析框架,确认竞争对手,建立竞争情报系统,竞争情报分析,商业秘密保护,完善企业竞争情报框架体系情报工作组织保障,情报分析责任部门,战略决策部门信息管理部门营销管理部门企业经营单位企业财务部门.,情报分析管理部门,竞争情报系统管理部门竞争情报内容管理部门情报管理专员,完善企业竞争情报框架体系KIT管理组织保障,完善企业竞争情报框架体系KIT管理制度,推动情报分析技术的发展和应用,第一个方面：在企业的运营和市场竞争中可能要用到各种各样的结构化数据分析方法。但是把这些分析技术集成在一个竞争情报系统中几
6、乎是不可能的。所以系统应具有良好的开放性，提供和专业统计分析软件结合的接口。第二个方面：针对于非结构化数据，提供基于文本挖掘的可视化分析技术，提升 CIS对海量非结构化数据的文献分析能力。,推动情报分析技术的发展和应用,加强竞争情报系统的导入咨询力度,企业竞争情报供需调研 对企业各职能部门工作时需要的情报信息种类、内容、需求时间、信息来源等作详细的了解。通过权衡企业各职能部门的情报供需关系，确定企业竞争情报系统中应包含的情报信息，以及信息的内容、种类、格式和来源。企业情报信息统一规划 在确定好企业竞争情报系统中应包含的情报信息的基础上，建立情报分类体系，对每个分类进行明确的定义，避免分类之间的
7、重叠性；在情报分类体系的基础上规划情报产品，然后进一步确定情报的服务形式。企业竞争情报系统安装和内容加载 安装企业竞争情报软件系统，导入情报分类体系和情报采集体系，建立分类体系和采集体系之间的关系，定制情报产品的格式和情报服务门户，并将当前企业已经具有的有效信息导入到系统中，进行内容加载。企业竞争情报系统的推行 主要包括两个方面的内容：对竞争情报系统的使用管理进行培训；建立竞争情报系统管理制度，明确各个部门的责任、义务和权限，包括：KIT制度、用户管理制度和信息提供制度等等。企业竞争情报系统的运行、评价、调整。 竞争情报系统的运行，并根据各个部门的反馈，结合企业的竞争情报的工作目标对系统进行客
8、观评价，对情报分类体系、情报采集渠道、情报产品、情报服务方式、情报反馈机制等进行调整，以便更加适合企业的实际需要。,加强竞争情报系统的导入咨询力度,借鉴国外经验，推动厂商间的合作,国外内容提供商的商业数据库通过插件和CIS系统进行绑定,提供多个商业数据库、互联网信息和企业内部信息的联合检索，大大提高了CIS的价值，并实现了内容提供商和工具提供商的利益共享。,国内外CI系统的发展趋势分析,国内外CI软件的发展趋势分析,产品架构：更注重产品的开放性和标准化 服务模式：ASP模式和平台模式的结合 情报规划：集成完善的行业分类体系 情报服务：体现个性化的情报服务理念 情报安全：更加注重情报安全和权限控
9、制 情报加工：情报的智能处理功能进一步增强 情报分析：可视化文献分析技术将得到应用,产品架构：更注重产品的开放性和标准化,CIS软件不但需要获取企业内外部的数据，同时还需要和企业购买的商业数据库、企业信息门户、企业OA、企业KM系统 、企业资源计划（ERP）、客户关系管理（ CRM）、企业供应链管理（SCM） 等等进行紧密地结合。这就要求CI提供商更加注重产品的开放性、标准化和扩展性。,国内外CIS对标准协议的支持,服务模式：ASP模式和平台模式的结合,情报规划：集成完善的行业分类体系,从目前的竞争情报系统实施经验来看，绝大多数企业对情报信息都采用分类的形式进行组织和管理，分类体系的准确性和完
10、善程度会影响到软件的使用效果。 相同行业的分类体系具有相似性和通用性，CI软件通过集成完善的行业分类体系，可以提高系统的应用效果和应用价值。,情报规划：集成完善的行业分类体系,情报服务：体现个性化的情报服务理念,企业情报信息库,网媒监测,简报服务,定期报告,信息检索,KIT建立,情报论坛,服务种类,全体员工,决策层/管理层,决策层/管理层,全体员工（权限）,KIT建立（情报分析员）,全体员工,对象,信息主管,信息主管,情报分析员,信息主管,情报分析员,信息主管,管理者,个性定制,全体员工,用户个人,情报服务：体现个性化的情报服务理念,情报安全：更加注重情报安全和权限控制,安全机制：用户权限管理
11、、用户组管理、加密设置以及每条情报的访问级别控制。 认证方式：支持LDAP、支持包含X.509客户证书的SSL.,情报加工：情报的智能处理功能进一步增强,国外知名CI工具提供商Knowledge Works 支持自动文摘等Knowledge Xchange 内嵌自动分类引擎。国内知名CI工具提供商TRS CIS以TRS CKM为基础，集成了自动分类、自动文摘、自动排重等文本挖掘技术。,情报分析：可视化文献分析技术将得到应用,情报分析和文献分析有很多类似的地方，将文献分析技术融入到CIS软件中，对竞争情报的分析会有很大的帮助，特别是随着文本挖掘技术的发展，可以实现可视化的文献分析，将类似的信息聚
12、集在一起，从而发现潜在行业、企业、产品的发展趋势。,CI系统中的关键技术和应用,CI软件的三大关键技术引擎,信息搜索：CI软件的基础引擎 实现情报资源的整合和搜索 文本挖掘：CI软件的智能引擎 实现情报资源的智能加工 内容管理：CI软件的应用引擎 实现情报资源的分发和利用,CI软件的三大关键技术引擎,信息搜索技术,文本挖掘技术,内容管理技术,内容 管理 技术,信息搜索（搜索引擎）分类,实践证明： CI软件多采用企业搜索引擎来提供搜索服务,Knowledge Work内嵌Verity K2 企业搜索引擎,Knowledge Xchange自主开发企业级信息搜索引擎和分类引擎,TRS CIS 以T
13、RS Server为核心的企业级搜索引擎,企业级搜索引擎应用于竞争情报系统的四大特点,异构化数据的统一搜索，实现企业内外部资源的整合 实时的检索和索引，保证情报信息的及时和有效性 安全的检索和权限控制，保证情报信息的安全性 查准率和查全率的最优化，提供更加准确的情报信息。,TRS 企业搜索引擎 异构数据统一管理，非结构化和结构化数据联合检索,Oracle, DB2, SQL ServerNotes, 邮件服务器File System：Word,PDF, EXLWeb: HTML, XMLMail,NewsAudio, VideoFlash,结构化数据：SQL查询非结构化数据：全文检索和搜索引擎
14、但用户的数据在很多情况下是结构化数据+非结构化数据+半结构化数据解决方案：TRS Database企业级搜索引擎,Verity K2所支持的部分异构数据源,实时索引和检索,增量索引数据和索引同步支持数据的实时增删改,查准率和查全率的最优化,互联网搜索在查准率和查全率方面难以计算，主要追求前几页的相关性。PageRank, TOP N 等企业级搜索需要满足用户在查询和查全方面的需求。绝大多数情况下CIS中需要精确检索(特别是结构化和非结构化数据联合查询情况下）企业级搜索的索引和搜索技术确保查准率和查准率,只有下一页，没有最后一页,严格的安全检索和信息访问控制,TRS 企业搜索引擎的安全机制系统级
15、、数据库级、记录级和字段级四级安全控制机制加密和压缩传输联机和脱机备份完善的日志管理系统提供多种权限级别的用户管理支持用户组的概念，以及Group DBA的概念，适应大型应用中复杂的系统管理和应用,严格的安全检索和信息访问控制,Verity 搜索引擎的安全机制 Verity 可以使客户和合作伙伴安全的访问受权限限制的内容和增值内容，用户可以获得文档级的访问权限，并可以丛搜索结果或目录列表中去掉受限制的项目。同时Verity K2集成了所有标准的安全模式，包括：LDAP、NT Domain、Lotus Notes 、Microsoft Exchange、ODBC等单一登陆解决方案。,内容管理技术
16、的定义,实现对异构环境下以各类非结构化和半结构化数据为主的内容的全面管理，提供内容采集、创建、加工、存储、传递、组织、服务和反馈等内容全生命周期过程中所需各项功能，以及元数据管理、智能检索和分析、数字版权和内容安全等专项技术，使内容得到高效利用和增值，给内容所有者和消费者带来效益。,全生命周期的内容管理技术,采集和创建存贮和管理版本控制先进工作流模版设计和管理内容复制出版分发个性化自动归类检索和导航安全控制用户管理内容电子商务,内容管理技术应用于竞争情报系统,构建企业竞争情报门户 规范企业情报加工流程 实现情报信息的多渠道分发和个性化服务 提供评估反馈机制，把握情报用户需求,构建企业竞争情报门
17、户可视化模版，随心所欲的驾驭展示内容,模板编辑置标向导,设定最终生成的页面为HTML、SHTML、ASP、JSP等,模板分类管理,通过模板粘贴可以选择将现有站点下的模板文件粘贴至当前模板编辑窗口中,构建企业竞争情报门户灵活的发布策略，为不同的人群提供不同的情报门户服务,规范企业情报加工流程可视化工作流技术，规范企业情报加工流程,多渠道分发和个性化服务拓展情报服务范围，提高情报服务水平,提供评估反馈机制，把握情报需求,文本挖掘技术在CIS中的应用现状,作用：目前主要是实现情报信息的粗加工，目前在CIS中应用的文本挖掘技术文本分类（自动分类、规则分类和混合分类）自动排重自动摘要和关键词提取随着文本
18、挖掘技术的发展和CIS的深入应用，以下两种技术在CIS中也将大有用武之地自动聚类（用于可视化的文献分析）信息抽取（用于文本信息中事实信息的抽取）,目前文本分类技术的发展现状（TRS）,为用户提供个性化的服务：允许用户根据自己的分类需求和数据特点设定分类，支持多层分类结构支持自动分类和规则分类的混合分类机制:分类法，分类算法的问题引起的。比如，支持多种分类标准：内容分类体系，地区分类体系对文本的类别结果智能给出类别的准确度值便于用户进行人工干预。用户可集中对准确度值低的文本进行监测。支持中英文混合自动分类，可以实现跨语言分类。具有反馈学习功能补充训练机制 产品成熟。经受了千万计数据的压力测试.分
19、类速度快，每秒50篇以上分类精度高: 自动分类的准确率达到86%90%，规则分类准确率达到95%以上,自动分类技术的应用,新华社采集入库项目，待编稿项目，报刊数据库项目等。遵循的分类标准是：新华社新闻分类法。该分类法包括两种分类机制：信息分类、地区分类，均为四层分类结构。信息分类总类目数为770个，地区分类总类目数为280个。信息分类采用自动分类+规则分类，地区分类采用规则分类。统计分类的准确率为85%。,自动摘要和关键词提取（自动标引）,现状：自动摘要技术目前不是十分成熟。基本思想：对文章中的所有句子进行权值运算，对所有的句子按权值排列，提取出权值大的作为关键句，进而形成摘要。功能： 摘要的
20、句数或字数可按用户的要求，随机的产生。根据用户提供的关键词，来形成摘要。便于更好的人机交户。（偏重摘要）形成摘要的同时，可同时提供精确的关键词标引。提供包括行业主题词或自由主题词标引功能。,自动分类和自动提取关键词,基于内容的去重,自动聚类,基本思想：自动对大量无类别的文档进行归类，把内容相近的文档归为一类，并自动为该类生成主题词，为用户确定类目名称提供方便。基本方法：采用相似度的方法，首先将文本聚成一个个小簇，然后合并这些原子簇为越来越大的簇，直到簇的数目满足聚类要求。应用：新闻事件的实时跟踪。检索结果的聚合等,聚类的信息岛图,聚类的时间趋势图,信息抽取,新词的识别：人名、地名、组织机构名等
21、命名实体识别信息抽取：时间、电话号码、身份证号、护照号、email、车牌、案件名称等的抽取采用的主要技术：采用规则与统计相结合的策略。基于已标注的语料库，进行知识学习。,找到内容和内容之间的关系，从中发现内容的新价值！,信息抽取演示,总结,企业竞争情报系统在企业的成功应用离不开： 企业竞争情报框架体系的建立。 离不开CI工具提供商、内容提供商和咨询提供商的合作，为企业提供CI综合服务。 企业搜索技术、内容管理技术和文本挖掘技术是搭建企业竞争情报系统的核心技术基础。 随着技术的发展和应用的深入，文本挖掘技术在情报分析上将会发挥作用。,谢谢！S MSN：shi_,pOXLp7v0djZKylHSJ
22、r3WxBmHK6NJ2GhiBeFZ7R4I30kA1DkaGhn3XtKknBYCUDxqA7FHYi2CHhI92tgKQcWA3PtGZ7R4I30kA1DkaGhn3XtKknBYCUDxqA7FHYi2CHhI92tgKQcWA3PtGshLs50cLmTWN60eo8Wgqv7XAv2OHUm32WGeaUwYDIAWGMeR4I30kA1DkaGhn3XtKknBYCUDxqA7FHYi2CHhI92tgKQcWA3PtGZ7R4I30kA1DkaGtgKQcWA3PtGZ7R4I30kA1DkaGhn3XtKknBYCUDxqA7FHYi2CHhI92tgKQcWA3PtGs
23、hLs50cLmTWN60eo8Wgqv7XAv2OHUm32WGeaUwYDIAWGMeR4I30kA1DkaGhn3XtKknBYCUDxqA7FHYi2CHhI92tgKQcWA3PtGZ7R4I30kA1DkaGhn3XtKknBYCUDxqA7FHYi2CHhI92tgKQcWA3PtGshLs50cLmTWN60eo8Wgqv7XAv2OHUm32WGeaUwYDIAWGMes02GshLs50cLmTWN60eo8Wgqv7XAv2OHUm32WGeaUwYDIAWGMes02dLPqafkFGlzcvv2YiRQYHbhR8AI1LKULh3xvjDzkEAMGr8xbwF1bH1oIM30E7xp,
