1、第9章 信息资源质量评估,本章主要内容,9.1信息资源质量评估的意义9.2信息资源质量评估的指标体系9.3信息资源质量方法9.4信息资源质量评估的流程与实施,研究背景,所谓评估，就是按照一定的标准，采用科学的方法，对评估对象的价值进行测度、评判和估计的过程。 信息资源质量评估是以用户的需求和满意度为导向，从多角度、多层次对信息资源的质量进行评估，其目的是为人们提供高质量的信息资源，以更好地满足信息用户需求。,9.1 信息资源质量评估的意义,9.1.1 信息资源质量评估的理论意义一方面，根据信息资源价值论，信息资源的价值具有普遍性，但并不是所有的信息资源对所有人都具有价值，可见，评估信息资源的价
2、值是十分必要的。信息资源质量评估为确定信息资源使用价值的大小提供了一种理论依据。另一方面，信息资源质量评估是信息资源质量管理的有机组成部分，是信息资源管理不可或缺的关键环节。开展信息资源质量评估可以不断完善信息资源质量管理体系和流程，规范信息资源管理，将信息资源管理水平提升到新的高度。,9.1.2 信息资源质量评估的实践意义,一，信息资源质量评估最直接的结果就是提高了信息资源的质量。 二，信息资源质量评估能够提高信息资源管理的效率。三，信息资源质量评估有利于提高整个社会的信息福利。四，信息资源质量评估能够促进整个信息产业的发展。,9.2 信息资源质量评估的指标体系,9.2.1信息资源质量内涵
3、由于质量问题是一个综合性问题，信息资源的外延又十分广泛，信息资源质量依据地区、行业、人员素质以及市场环境和要求的不同呈现出多样化的特点。可以从多个角度、多个层次描述信息资源质量。,9.2.1 信息资源质量内涵,对信息资源质量的认识是一个循序渐进的过程。从国内外专家学者的研究中，可以看出，信息资源质量已逐渐由判断信息资源好坏的客观标准发展成了包含用户主观价值取向因素在内的多个属性的总和。信息资源质量衡量的是信息资源的优劣程度，是信息资源价值的重要表现，是符合社会信息需求的各种特征的总和。高质量的信息资源能带来更多经济效益和社会效益的信息资源。,9.2.1 信息资源质量内涵,信息资源质量的特点：
4、1隐蔽性 2多维性 3相对性 4时滞性,9.2.2 信息资源质量指标体系的设计,仅从单一指标出发评估信息资源质量是不客观的，需要对信息资源的使用目的、环境、信息用户进行综合考察。信息资源质量评估的研究还处于探索阶段，目前还没有一个能被广泛认同的评估体系。基于对信息资源质量的不同理解和不同的学科背景，不同学者各自提出了一套评估指标体系。,9.2.2 信息资源质量指标体系的设计,本书认为信息资源质量的评估也应该从多个层面展开，包括对信息资源内容、信息资源表达形式、信息资源系统和信息资源效用四个方面。,基于信息资源内容的评估指标,信息资源内容的评估是对信息资源的内在质量进行判断和估算，是最根本、适用
5、性最广的一种评估，主要包括正确性、完整性、相关性、新颖性这四个指标。 正确性指的是信息资源内容本身能客观反映出某事物或系统的某一方面的客观属性，而不是某些人的主观偏见。 完整性包括信息资源的范围、种类、时间等多方面含义。 相关性强调信息资源与用户信息需求两者间的匹配程度 新颖性包括两层含义：一是新颖，二是及时，新的、先进的信息更具有价值。,基于信息资源表达形式的评估指标,包括表达的准确性、可理解性、精简性和标准化程度这四个评估指标。 准确性要求信息符号能够清楚地表达信息内容，涉及表达准确性和传达准确性 可理解性是指信息符号要易于理解，用户能看懂信息符号，能理解符号所代表的真实信息。 精简性要求
6、信息资源的表达符号要尽可能简单明了。 标准化程度指的是各种信息表达技术（如文字、图形符号等）的统一程度,基于信息资源系统的评估指标,信息资源的各类信息活动要素组成了一个复杂的信息资源系统，衡量该系统性能的指标有可获取性、快速响应性和可靠性。 可获取性包括易得性和易操作性。易得性是指信息检索简单、快捷，信息用户能够轻易并快速地获得所需信息；易操作是从检索信息、传递信息到利用信息都容易操作。快速响应性要求系统反应敏捷，能够及时处理用户要求，并使得信息在有效时间内以最快的速度得到传递和利用，用户利用信息的效果和意见也能快速地得到反馈。可靠性反映的是信息资源系统的稳定性和安全性。,基于信息资源效用的评
7、估指标,信息效用评估指标包括可用性、适量性和价值增值性。 可用性指的是信息用户有权使用所需信息资源，而不会侵犯知识产权或现行法律及规章制度。 适量性是指信息资源数量应尽可能适当。 价值增值性是指信息资源能给信息用户带来直接的经济效益和社会效益。,9.3 信息资源质量评估方法,定性评估方法 半定量评估方法 定量评估方法,9.3.1 定性评估方法,信息资源质量的定性评估是在信息价值哲学的指导下，从质量评估的基本标准（实用价值、科学价值、社会价值、人文价值）出发对某种信息资源质量进行分析和评定，以定性说明其质量状况。,9.3.2 半定量评估方法,半定量评估方法是一种定性和定量相结合的方法。其主要做法
8、是在定性评估方法中引入数学手段，将定性问题（如专家评估意见和分析结论）按人为标准打分并做出定量化处理，具有数理统计的特征。常用的半定量评估方法主要有德尔菲法、模糊综合评估法、层次分析法、关联矩阵法等。,德尔菲法,德尔菲法是一种多轮专家咨询法：由调查组织者拟定调查表，按照规定程序，通过函件分别向专家们征询调查，专家之间通过组织者的反馈材料匿名地交流意见，经过几轮征询和反馈，使专家们的意见逐渐集中，最后获得有统计意义的调查结论。,德尔菲法,德尔菲法评估的流程,德尔菲法,德尔菲法具有匿名性、反馈性、统计性等特点： （1）匿名性（2）反馈性（3）统计性优点：该方法是一种基于专家经验的综合评估方法，因此
9、原理上易于理解，操作上简便易行，在缺乏足够的客观数据或者方案价值在很大程度上取决于主观因素的情况，可以收到良好的效果。缺点：如系统性不强，受主观因素的影响大，难以保证评估结果的客观性和准确性以及该方法对时间、人力、物力的耗费较多。,模糊综合评估法,模糊综合评估法是以模糊数学为基础，应用模糊关系合成的原理，通过构造等级模糊子集，量化评估对象的模糊指标，将一些边界不清、不易定量的因素定量化而进行综合评估的一种模糊数学方法。该方法涉及三个要素：因素（指标）集、评语集、单因素评估，在单因素评估的基础上，再进行多因素的模糊综合评估。,模糊综合评估法,基本方法和步骤 ：,模糊综合评估法,基本方法和步骤 ：
10、,模糊综合评估法,基本方法和步骤 ：,模糊综合评估法,基本方法和步骤 ：,层次分析法,层次分析法是把所要研究的复杂问题看作一个大系统，通过对系统的多个因素的分析，划分出各因素间相互联系的有序层次；再请专家对每一层次的各因素进行客观判断后，相应给出相对重要性的定量表示；进而建立数学模型，计算出每一层次全部因素的相对重要性的权重，加以排序；最后根据排序结果规划决策和选择解决问题的措施。,层次分析法,评估步骤：（1）建立评估系统的递阶层次结构 递阶层次结构一般分为三层：最高层，即目标层，只有一个元素，一般是分析问题的预定目标或理想结果；中间层，即准则层，包括为了实现目标所涉及的中间环节，可以由若干个
11、层次组成，包括需要考虑的准则、子准则；最底层，即方案层，包括为了实现目标可供选择的各种措施、决策方案等。,层次分析法,评估步骤：（2）构造判断矩阵,层次分析法,评估步骤：（3）相对权重的计算及检验 主要是通过计算判断矩阵的最大特征值及其相应的特征向量来确定判断矩阵中各因素的权重，并进行一致性检验。判断矩阵常用的计算方法有和积法、方根法、最小平方和法等。,层次分析法,评估步骤：（4）层次总排序及检验 如果考虑到上一层次某个因素在其层次中的相对重要性，然后和下一层次的因素加权，就可得到下一层次因素相对于上一层次整个层次的组合权值，这就是层次总排序。为了求出最低层次所有因素对于最高层的相对重要性的权
12、重向量，可采用逐层叠加的方法，从最高层次开始，由高向低逐层进行计算。,关联矩阵法,关联矩阵法是一种加权平均数法，它将评估的指标体系和权重体系以及单项评估值列为矩阵表的形式，然后计算出评估值的加权和，再通过分析比较，确定加权和最大的方案为最优方案。,关联矩阵法,步骤：（1）确定指标体系 评估体系在关联矩阵中就是一个层次结构的评估量表，一般由两至三个层次的评估指标组成。首先，根据评估内容覆盖面的差异和评估需要将评估量表分成不同的模块。对于信息资源质量评估，信息资源内容、信息资源表达形式、信息资源系统以及信息资源效用就分别属于不同的模块。然后，将这些评估指标模块分解，获得二级评估指标（有些复杂的量表
13、还包括三级评估指标），从而形成具有层次结构的评估量表。,关联矩阵法,步骤：,关联矩阵法,步骤：,关联矩阵法,步骤：（3）确定单项评估值 一般通过专家评定法和德尔菲征询法来确定单项评估值，其中专家评定法需要事先选定参加评估的专家小组，把印制好的评估指标体系和权重体系的关联矩阵表发给专家，由专家打分，去掉最高分和最低分，取其算术平均值。（4）综合评估,9.3.3 定量评估方法,在定量评估时，主要是采用统计的、数学的或者经济模型的方法揭示信息资源的质量，这有助于促进评估结果更加科学、客观、公正。定量评估方法很多，例如:经济模型法、主成分分析法、聚类分析法、人工神经网络法和数据包络分析法。,经济模型法
14、,既然信息资源是重要的经济资源，在经济系统中信息资源质量的高低直接决定了它的经济价值，那么，将信息资源质量视为一种生产要素时，信息资源质量的变化就相当于生产率和生产成本的变化，于是导致价格和产出水平的变化，而价格和产出水平的变化是可以观测到并计算出来的。从这个角度出发，可用数学的、统计的方法对高质量信息资源所产生的效用进行计算和评估，从而得到信息资源质量与成本、收益之间的关系。常用的方法有生产函数法、影子收益法等。,主成分分析法,主成分分析（principal component analysis）法是将多个可能存在相关关系的指标适当组合，转化为少数几个互不相关的指标，而这少数几个指标包含了原
15、有指标的大部分信息，以达到降维、简化问题的目的。,主成分分析法,主要步骤 ：,主成分分析法,主要步骤 ：,主成分分析法,主要步骤 ：,主成分分析法,主要步骤 ：,主成分分析法,优点： 一，消除指标之间的相关影响。 二，完全基于指标的客观信息进行评估，消除人为因素的影响。 三，减少了指标选择的工作量。 四，计算简单，操作易行。缺点： 此方法计算较复杂（必须借助计算机来完成），且需要一定的样本量，对于不到4个人的审核小组要按此方法进行质量体系评估十分困难。,聚类分析法,聚类分析（cluster analysis），又称群分析和类分析，是一种数据简化技术。实际上，聚类分析是将研究对象按其共性进行分类
16、，它是建立在距离度量基础上的数据表示方法，其基本目标是发现样品的自然分组方法，从而辨认在某些特征上相似的事物，并把样品就这些特征划分成若干类，使在同一类的样品具有高度的共性，而不同类的样品具有高度的相异性。聚类分析应用于综合评估中，一方面可以对分类评估问题给出直接的评估结果，另一方面，也为其他综合评估方法提供训练样本，形成综合评估的框架结构，以便提高综合评估的效果。,聚类分析法,聚类分析法的形式描述,聚类分析法,主要过程（1）选择特征变量（2）相似性测度（3）选择聚类方法（4）分类数的确定（5）聚类融合,人工神经网络法,人工神经网络评估法主要是借助BP（Back Propagation）网络模
17、型。BP网络模型是一个含有输入层、隐含层、输出层的多层网络模型结构，它是美国加州大学的鲁梅尔哈特（D.E. Rumelhart）和麦克莱兰（J.L. Meclelland）在研究并行分布式信息处理方法、探索人类认知微结构的过程中于1986年提出。,人工神经网络法,主要步骤：（1）确定评估指标集。指标个数为BP网络中输入节点的个数。（2）确定BP网络的层数。一般采用具有一个输入层、一个隐含层和一个输出层的三层网络模型结构。（3）对指标值进行标准化处理。,人工神经网络法,主要步骤：,人工神经网络法,主要步骤：,人工神经网络法,优点： 克服了模糊综合评估中指标权重依据主观方法取得的缺点。因此，人工神
18、经网络评估方法得到的结果更符合实际情况。缺点： 人工神经网络评估的缺点是需要的训练样本数据较多，这在实际评估中不容易做到。另外，网络收敛速度慢也极大地影响着评估工作的效率。,数据包络分析法,该方法从投入与产出的角度对若干同类型具有多输入、多输出的决策单元（Decision Making Unit，DMU）的相对效率与效益进行比较。DEA中常用的模型有C2R模型，它用于评估决策单元的整体有效性，包括规模有效和技术有效；C2SG2模型则单纯用于评估决策单元的技术有效性。DEA模型将每一评估对象都看成是一个具有“多个输入、多个输出”的生产系统，通过观察系统的输入和输出来评估生产系统的相对效率。,数据
19、包络分析法,主要步骤：（1）选择m个输入指标和s个输出指标，保证DMU元素的个数不少于输入输出指标总数的2倍。（2）建立C2R模型，求解整体有效性。（3）建立C2SG2模型，评估技术有效性特点： 适合于处理具有多个输入和多个输出的情况，并且完全基于指标数据的客观信息进行评估，剔除了人为因素带来的误差。,9.4信息资源质量评估的流程与实施,9.4.1 信息资源质量评估的流程,9.4.1 信息资源质量评估的流程,1明确评估目标 信息资源的质量涉及信息、信息系统以及信息用户等多方面的质量，具体评估时往往因评估对象和目标不同而有不同的侧重点。2分析与论证评估对象 根据评估目标，从多种途径收集有关的数据
20、、资料，对评估对象的各个要素及性能特征进行全面分析，论证评估对象的必要性、可行性。通过分析、论证，筛选出恰当的评估对象。 3列举并评估方案 为将来筛选的需要，一般要列举出若干个待评估的方案。每个待评估的方案都应该有清楚的说明，包括可能的评估的要素、评估方法、评估专家等的方面。,9.4.1 信息资源质量评估的流程,4选择最佳方案 由于人们认识水平、知识结构以及思维方式等方面的局限，使得所谓最佳也只是个相对的概念，指的是备选方案中的最佳。通常，人们根据经济性、快捷性、有用性等原则来选择最佳方案。5专家评估 评估方案确定后就可以选择相关专家进行评估。专家应该包括信息资源管理、质量管理、分析与评估等多
21、领域的专家，而且为了集众专家之所长经常都以专家小组的形式开展评估活动。6评估结果 经过以上步骤可得到一个初步的评估结果，它既可以是对评估对象的定性的解释，也可以是量化分析后得到的结论。该评估结果的科学性还需进一步考察。,9.4.1 信息资源质量评估的流程,7评估结果的再评估 这既是对评估结果的评估也是对评估过程的审查。由于整个评估过程涉及的人员众多，步骤比较繁琐甚至评估方法也不合适，导致评估结果存在错误或误差，这就需要对评估结果查错。只有通过这一过程，评估的结果才更好地应用于信息资源管理实践中。8评估报告 最后，组织者应该根据专家评估的结果进行统计分析处理，最终形成评估结果报告。一般要求评估报告以简洁的文字交代评估的目的、目标、背景、主要内容等，并详细介绍评估方法、过程及主要结论。此外，评估报告的语言必须是科学语言，务必准确、简明、规范。,9.4.2 信息资源质量评估的实施,信息资源质量评估的具体实施就是根据人力、物力、财力和时间条件以及评估目标和评估对象的特点与要求合理调配各类资源以保证评估活动按既定的进度要求保质保量、有条不紊地进行。 由于信息资源质量评估是一项系统工程，涉及面广、工作量大。组织者要能够顾全大局，统筹规划，另外实施过程要注意充分利用信息技术。,
