1、2018/11/20,1,第6章 管理系统评价,本章要点系统评价的一般含义系统评价的基本步骤系统评价的发展趋势专家群体评价法的三项基本工作内容层次分析法的基本步骤及适用范围,2018/11/20,2,第6章 管理系统评价,所谓系统评价是指根据预定的系统目标，对各种可选方案进行评审和选择，找出可行或最优方案。通过特定的原则和步骤，依据科学合理的指标体系得出的系统评价结果，是选择方案或衡量系统工作效果的客观依据。定性评价法是根据专家群体的经验和知识做出评定结果的方法。其优点是简便易用；不足之处是主观性太强。,2018/11/20,3,第6章 管理系统评价,常用的管理系统定量评价方法中： 层次分析法
2、是对定性问题进行定量分析的一种多准则评价方法，其原理是把复杂问题按属性的逻辑关系逐层分解，形成层次结构，并用一定标度把主观判断客观量化，进行层次排序。 多指标排序法是针对多方案多指标的评价问题，通过统一指标的量纲和极性，使不同性质的指标值具有可加性，实现方案价值的排序。 模糊评价是利用模糊数学理论建立模糊矩阵，通过聚类分析综合评价方案各指标的实现程度。 灰关联评估是根据灰关联度实现评价因素的重要性排序，还可以通过两两因素的关联分析，实现同类因素的归并，从而达到简化复杂系统的目的的一种方法。,2018/11/20,4,第1节 系统评价原理,一、系统评价概述 (一)系统评价的概念 评价是根据预定的
3、目标，对评价系统的价值属性进行测定和度量，包括客观定量的计算又包括主观效用的测评。 系统评价，就是综合评定系统的价值，根据事先确定的系统决策目标，通过资料的收集和提炼，利用综合评估模型，从技术和经济等方面，对系统各种方案的价值属性进行评定，从中选出技术上先进、经济上合理、社会效益好的最佳方案。 这里所指的系统价值是指系统的运行效果或决策目标的实现程度。,2018/11/20,5,第1节 系统评价原理,一、系统评价概述 价值属性具有两方面的特性： (1)相对性：评价主体的立场、观点、目的不同 (2)可分性。系统的价值属性包括许多价值要素。从影响产品需求的竞争因素而言，其价值要素主要有： 产品的功
4、能F(function)、成本C (cost)、质量Q(quality)、时间T(time)、品种V(variety)、服务S (service)、环境E(environment)、资源R(resource)。 高校排行榜,2018/11/20,6,中国高等教育观察2013大学排行榜,2018/11/20,7,网大版2013年中国大学排行榜,2018/11/20,8,武大版2013年中国大学排行榜,2018/11/20,9,2018/11/20,10,第1节 系统评价原理,一、系统评价概述 在系统评价时，往往要将系统价值进行多个方面的衡量与评价，这就要对系统的价值属性进行合理有效的划分。 为了
5、全面、科学地评价系统方案的价值，应该进行技术评价、经济评价、生态环境评价和系统综合评价。,2018/11/20,11,第1节 系统评价原理,一、系统评价概述 技术评价：评定系统方案能否实现所需的功能及其实现程度，主要方法可行性分析、可靠性评价等； 经济评价：利用经济理论对系统方案的经济效益作出的定量评价，主要方法价值分析法、成本效益法、利润评价法等； 生态环境评价：针对系统全生命周期给生态环境带来的利益和造成的负面影响而进行的评价。 中国经济发展唯GDP论,2018/11/20,12,第1节 系统评价原理,一、系统评价概述 系统综合评价是以系统思想为指导，统筹兼顾各个子系统的局部性要求，从系统
6、的总体目标出发，对系统的功能或有效度(价值)进行的全面衡量。 在技术评价、经济评价、生态环境评价等单项评价的基础上所进行的整体价值评价，是对系统方案价值的大小进行的综合评定。,2018/11/20,13,2018/11/20,14,第1节 系统评价原理,一、系统评价概述 (二)系统评价的复杂性 1评价目标的多样性。 评价指标体系的设计要合理，其权重分配要科学； 指标的评分标准(评语等级)的设置要做到客观、量化、可操作性强； 确定其优劣次序时，常常需要从多个不同的侧面加以评价，这就需要进行系统性的分析与评估。,2018/11/20,15,第6章 管理系统评价 第1节 系统评价原理 一、系统评价概
7、述,2定性指标的主观性影响。对于定量指标，通过指标的实际取值和评价标准的比较，容易客观地得出评价方案优劣的顺序。但对于定性指标的评价，由于没有明确的数量表示，一般根据评价专家的主观感觉和经验进行打分评测，这是主观性很强的评价。评价信息的全面性与准确性受评价人员的知识水平、认识能力、个人经验和偏好的制约，很难做到评价的客观、公正、科学、合理。,2018/11/20,16,第6章 管理系统评价 第1节 系统评价原理 一、系统评价概述,3评价方案各有优势与不足。系统评价一般是多指标多方案评价，有一类评价指标可能是取值越大越好，而另一类指标可能是取值越小越好，各指标的量纲可能也不一致，各方案同一指标的
8、取值又不完全相等，从而造成无法直接比较方案优劣的情况。相对于某一个评价指标，甲方案可能最好，但相对于另一个评价指标，乙方案可能最佳。正因为评价方案各有优势与不足，所以建立评价样本值矩阵的流程要科学，可以先召开研讨会，让评价人员能够理解评价指标的含义及相应的评分准则，以提高评分的可信度，但也增加了系统评价的难度。,2018/11/20,17,第1节 系统评价原理,一、系统评价概述 4人的价值观起主导作用。评价是由人来进行的，评价方案以及指标的选择都是由人确定的，因此人的价值观在评价中起很大作用。由于个人偏好不同，对同一评价客体，不同人可能有不同的价值评定。也就是说，评价对象的价值不是对象本身所固
9、有的，而是由评价对象和它所处的环境条件的相互关系所相对地规定的属性，是由评价主体确定的。评价主体因评价时所代表的利益不同，所持的立场、观点和标准将受到相应的影响，对价值属性的认识和估计就会持一定的态度和观点。因此，评价主体选择要恰当，应根据具体情况分组，设立相应的评价人员权重。,2018/11/20,18,第6章 管理系统评价 第1节 系统评价原理 二、系统评价的基本思路,(一)系统评价的理论第一类是以数理为基础的理论，它通过数学理论和解析方法对评价系统进行精确的定量描述和计算；第二类是以统计为主的理论，通过统计数据来建立评价模型，这是一种实验性的评价方法；第三类是仿真和辅助决策理论，主要用来
10、处理不经常或不重复出现的非程序性决策问题，评价者对这类问题缺乏经验，需要制定决策准则和提供评价信息，将定性问题定量化处理，这方面可以采用半定量化方法和计算机系统仿真技术。,2018/11/20,19,第6章 管理系统评价 第1节 系统评价原理 二、系统评价的基本思路,常用的评价理论如下：1效用理论。最早科学地提出评价问题的是冯诺伊曼(Von .Newmann) 的效用理论。我们把备选方案的有用程度，或者说对评价者的主观价值称为效用(utility)，效用的量化表现就是效用值。 效用具有如下的特性： (1)效用是主观的，同一事物对不同的人的效用不同； (2)效用是多属性的，收益只是影响因素之一，
11、评价者的价值观念、行为偏好等决定了评价方案效用值的大小； (3)效用是评价与决策环境的产物，同一个评价者在不同的环境条件下，对同一个方案会有不同的价值感。,2018/11/20,20,第6章 管理系统评价 第1节 系统评价原理 二、系统评价的基本思路,评价方案的优劣可以通过评价主体的效用来对各替代方案进行相对比较。即“效用”只意味着选择顺序，既没有标准也不是数量，故要建立具有与效用相同的选择顺序的数量函数，即效用函数。所谓效用理论就是用数学方法来描述效用与效用函数的关系，它是以评价主体个人的价值观为基础而建立起来的数学理论，根据评价者给定的效用值的大小进行方案优劣的评价。,2018/11/20
12、,21,第6章 管理系统评价 第1节 系统评价原理 二、系统评价的基本思路,2数量化理论。主要是用统计分析的方法数量化，这时需要收集足够数量的样本数据，同时要能识别这些数字所揭示的规律性。概率统计方法研究的是“随机不确定”现象，着重于考察“随机不确定”现象的历史统计规律，考察具有多种可能发生的结果之“随机不确定”现象中每一种结果发生的可能性大小。其出发点是大样本，并要求对象服从某种典型分布。,2018/11/20,22,第6章 管理系统评价 第1节 系统评价原理 二、系统评价的基本思路,3模糊理论。模糊理论是在美国加州大学的扎德(L.A.Zadeh)教授1965年创立的模糊集合理论的数学基础上
13、发展起来的，是模糊集合、模糊关系、模糊逻辑、模糊控制、模糊测量等理论的泛称。早在20世纪20 年代，著名的哲学家和数学家罗素(B.Russell)就写出了有关“含糊性”的论文。他认为所有的自然语言均是模糊的，比如“红的”和“老的”等概念没有明确的内涵和外延，因而是不明确的和模糊的。扎德教授在1965年发表了著名的论文模糊集合(Fuzzy Sets)，文中首次提出表达事物模糊性的重要概念：隶属度函数，从而突破了19世纪末笛卡儿的经典集合理论，奠定了模糊理论的基础。,2018/11/20,23,第6章 管理系统评价 第1节 系统评价原理 二、系统评价的基本思路,模糊数学着重研究“认知不确定”一类的
14、问题，其研究对象具有“内涵明确，外延不明确”的特点。由于评价等级之间的关系是模糊的，没有绝对明确的界限，因此具有模糊性。模糊综合评价就是利用模糊集理论对某一评价方案各指标的实现程度进行综合；凭经验借助于隶属度函数进行处理；然后根据给定的标准，得出综合性的评价意见。,2018/11/20,24,第6章 管理系统评价 第1节 系统评价原理 二、系统评价的基本思路,4灰色理论。 评价需要信息才能做出结论。可以用“黑”表示评价信息缺乏，“白” 表示评价信息充足，而用介于白与黑之间的“灰”表示评价信息不甚全面、不甚确切的情形，也就是说部分信息已知、部分信息未知，具有灰色性。 信息完全明确的系统称为白色系
15、统， 信息完全未知的系统称为黑色系统， 部分信息明确、部分信息不明确的系统称为灰色系统。,2018/11/20,25,第6章 管理系统评价 第1节 系统评价原理 二、系统评价的基本思路,系统信息不完全的情况可分为以下四种： (1)元素(参数)信息不完全； (2)结构信息不完全； (3)边界信息不完全； (4)运行行为信息不完全。灰色理论研究对象是“部分信息已知，部分信息未知”的“贫信息”不确定性系统，着重研究概率统计、模糊数学所不能解决的“小样本、贫信息”的不确定性问题，它通过对“部分”已知信息的生成、开发实现对现实世界的确切描述和认识，其特点是“少数据建模”。它是华中科技大学邓聚龙教授于19
16、82年创立的，其主要内容包括：灰色建模、灰色预测、灰关联分析、灰色统计、灰色聚类、灰色决策和灰色控制。 灰色系统理论着重研究“外延明确、内涵不明确”的对象。,2018/11/20,26,第6章 管理系统评价 第1节 系统评价原理 二、系统评价的基本思路,5优化理论。评价客体的数学模型本身也可能成为评价函数。数学规划本身具有普遍性和严密性，得出的评价也是比较客观的。这就要求我们凡事有一个优化的概念，带着优化观念去发现问题、分析问题、收集数据、建立模型。典型的数学规划方法有线性规划、整数规划、非线性规划、动态规划、多目标规划等。此外，还有期望值理论，主要是根据评价方案期望值的大小进行评价与决策，它
17、适用于程序性的、可重复多次的决策问题。,2018/11/20,27,第6章 管理系统评价 第1节 系统评价原理 二、系统评价的基本思路,(二)系统评价的原则 为了做好系统评价，应遵循以下原则：1评价的客观性原则。 2方案的可比性原则。 3指标的系统性原则。4方法的综合性原则。 只有遵循“定性定量定性”的评价思路，在定性评价的基础上，进行方案的量化测评与排序，然后再进行定性解释，使两者有机结合，为系统的综合评价提供全面分析的思路，才能取得合理的系统评价信息。,2018/11/20,28,第6章 管理系统评价 第1节 系统评价原理 二、系统评价的基本思路,(三)系统评价的步骤系统评价的步骤一般包括
18、以下几项：1.整理说明评价方案。2.选择合适的评价方法。3.确定评价指标体系。 4.确定评价指标权重。 5.进行单项指标评价。 6.进行系统综合评价。,2018/11/20,29,第6章 管理系统评价 第1节 系统评价原理 二、系统评价的基本思路,(四)系统评价合成法则系统综合评价合成法则一般有 加权合成、 乘法合成、 代换合成、 模糊合成等综合方法。 模糊合成方法中 加权平均型比较接近人们的经验评判，但计算出的结果不明晰；主因素决定型信息利用率不高，计算结果偏差变化大；主因素突出型利用信息比较充分。 在一般情况下，人们大多选取加权平均型。,2018/11/20,30,第6章 管理系统评价 第
19、1节 系统评价原理 三、系统评价的指标体系,(一)评价指标 系统评价的度量指标具有如下特性：全面性：反映评价系统的主要特征；简洁性：便于使用；经济性：以适当的成本易于获得；无二义性：描述准确、便于评分操作；客观性：体现公平、公正；有效性：正确度量其目标属性；稳健性：对应用领域的变化不敏感；适应性：便于模型扩展。,2018/11/20,31,第6章 管理系统评价 第1节 系统评价原理 三、系统评价的指标体系,(一)评价指标 评价指标体系通常可考虑如下方面：1政策性指标。2技术性指标。3经济性指标。4社会性指标。5资源性指标。6时间性指标。以上是所考虑的大类指标，每一个指标又可包含许多小类指标，在
20、具体条件下，可以有所选择和增减。,2018/11/20,32,第6章 管理系统评价 第1节 系统评价原理 三、系统评价的指标体系,(二)指标权重由于各指标对实现系统目标的重要程度不同，可根据各指标的重要程度赋予其权重，以表示其对于实现系统目标和功能的重要程度。 确定权重的方法一般有相对比较法(亦称经验评分法)、专家调查法、层次分析法以及关联分析法，其原则如下： 1应反复听取各方面的意见，避免轻率行事，使权重分配尽量合理。 2合理确定权重的赋值范围。当评价指标数值接近时，权重取值范围可以大一些，以便拉开差距，但不宜太大，以免减弱指标价值的重要性。3遵循由粗到细的赋值原则。即先粗略地把权重分配到大
21、类指标，然后再把大类指标所得权重细分到各个指标。对于指标权重的计算，人们通常运用层次分析原理，通过两两比较建立判断矩阵，进行层次单排序来确定(详细内容参见第3节)。,2018/11/20,33,第6章 管理系统评价 第1节 系统评价原理 三、系统评价的指标体系,(三)评价标准对于非结构化的决策问题，由于人们对评价方案的价值属性的研究不深，缺乏统一的认识，所以尚未制定具体、统一、系统的评价标准。从实际经验来看，评价标准可以采用国家、部门和行业制定的标准，以及地方法规的规定。这些标准具有指导性、强制性特点，是绝对性标准。如环境指标的评价标准可采用国标及行业标准所规定的值。对于没有规定评价标准的指标
22、，可以根据用户的需求，结合市场竞争状况和技术进步，并与现有系统的技术一功能一效益等特性进行比较来确定，或者根据统计数据确定，这种标准是比较性的标准。,2018/11/20,34,第6章 管理系统评价 第1节 系统评价原理 四、系统评价的发展趋势,管理系统属于生物型软系统。现代评价方法更多是表现为各种方法的综合运用。对于系统评价的方法、手段而言，其趋势大体上可归纳为四种： (一)决策主体群体化 (二)通讯方式网络化 (三)信息支持智能化 (四)方法模型集成化 将多种方法和模型集成应用而产生多个评价结论，然后根据多元统计分析理论对评价结果进行优选就成为目前较为流行的一种方法。,2018/11/20
23、,35,第6章 管理系统评价 第2节 定性评价方法,定性评价方法也就是专家咨询法，是指专家根据其经验和知识判断出结果，或者专家群体应用一些群体决策技术得出结论的方法。这种方法一般采取专家群体的形式进行评价，以专家个人的评价为基础，运用一定的方法将专家的意见进行综合，最后得出专家群体的评价意见。也就是说，在评价过程中，收集有关专家的意见，通过规范化程序，从中提取出最一致的信息，利用专家的知识、经验来对评价方案进行价值评定。,2018/11/20,36,第6章 管理系统评价 第2节 定性评价方法,专家评价的准确程度，主要取决于专家的阅历以及知识的广度和深度，这就要求参加评价的专家具有较高的学术水平
24、和丰富的实践经验。专家咨询法的不足之处在于：专家咨询法是一种主观定性评价法，其客观性不强。因此需要借助一定的半定量方法进行数据处理(如层次分析、模糊聚类、灰色聚类)。这种评价方法的应用主要包括专家群体的选择、专家咨询形式的选择和专家意见综合方式的选择。专家咨询的常用形式有专家会议评议法、听众调查法、头脑风暴法、德尔菲法、名义群体法、研讨厅法等。,2018/11/20,37,第6章 管理系统评价 第2节 定性评价方法 一、评价主体的确立,评价主体是参加评价的各行专家，专家咨询法的首要任务是确定专家群体的构成。既要确定参与评价的专家类型，又要规划群体规模和群体行为，还可能要考虑评价主体的权重。 (
25、一)专家类型 (二)群体规模 (三)群体行为 (四)人员权重,2018/11/20,38,第6章 管理系统评价 第2节 定性评价方法 二、咨询方法的形式,为了促成与会专家取得共识，一般可以采用图6-1所示的DMTMC 系统框架。也就是说，为了达成一致意见(C，conceit)，就要召集专家举行会议(M，meeting）进行反复讨论；为了使会议能够达到预期目的，保证会议的质量，就要及时提供相关信息和数据(D，data)；同时要充分利用网络通讯和计算机等先进的工具(T，tool)来支持会议，实现信息沟通便捷，数据汇总处理及时；还需要帮助分析、形成共识所需的方法(M,method)。,2018/11
26、/20,39,第6章 管理系统评价 第2节 定性评价方法 二、咨询方法的形式,图61 DMTMC系统框架,2018/11/20,40,第6章 管理系统评价 第2节 定性评价方法 二、咨询方法的形式,图62 3C型共识形成过程,沟通（communication）,合作（collaboration）,共识（consensus）,共识提交,新的知识,相关知识,各种议题,问题解决,2018/11/20,41,第6章 管理系统评价 第2节 定性评价方法 二、咨询方法的形式,3C型共识形成过程可能有四种结束的选择：充分达成共识；将分歧议题递交委员会裁定；或者先将分歧大的议题搁置一边；无法取得共识而宣布会议
27、终止 。,2018/11/20,42,第6章 管理系统评价 第2节 定性评价方法 二、咨询方法的形式,(一)会议评议法专家会议评议法是专家们根据评价系统和提供的有关资料，先进行准备，然后召集专家会议，让专家们陈述各自的评价意见，经讨论修正后，得出评价结果。该法有助于相互启发，取长补短，具有信息量大、考虑因素全面等优点。其缺点是易受“权威”和大多数人的意见影响，从而忽视少数人的正确意见。与会者常常更注重得出一个一致的结论，而不是一个深思熟虑的、科学合理的结论，而且会议主持人的个人意见也会对评价结论有所影响。,2018/11/20,43,第6章 管理系统评价 第2节 定性评价方法 二、咨询方法的形
28、式,会议的类型包括：(1)科协型会议达成简单共识：(2)科委型会议达成研究共识：(3)计委型会议达成决策共识： (4)社会调查型反映民意共识：,2018/11/20,44,第6章 管理系统评价 第2节 定性评价方法 二、咨询方法的形式,(二)听众调查法听众调查法是通过系统的直接服务对象打分而进行的评价。其步骤是：(1)向“听众”(直接服务对象)说明评价的要求、调查项目的内容及评分准则。(2)听众听讲或观看演出，或用户亲自使用产品，等等。(3)听众填写调查表。(4)资料汇总处理。(5)做出评价。该法的优点是简便易行，既可采取现场调查，又可以信函或网络方式进行调查评价。调查范围广，减少了片面性，真
29、实性较强，但这种方法是事后进行的评价。,2018/11/20,45,第6章 管理系统评价 第2节 定性评价方法 二、咨询方法的形式,(三)德尔菲法德尔菲(Delphi)是古希腊传说中的神谕之地，城中有座阿波罗神殿可以预卜未来，因而借用此名说明此法的预测功能。美国兰德公司的赫尔默(Helmer)和达尔基(Dalkey)于20世纪60年代初提出了德尔菲法，它是采用匿名函询、反复征求意见的方式，对头脑风暴法作了进一步的改进。,2018/11/20,46,第6章 管理系统评价 第2节 定性评价方法 二、咨询方法的形式,德尔菲法的基本原理是以调查征询表的形式向选定的专家提出一系列的问题，并汇总整理专家意
30、见。每完成一次提问和回答的过程称为一轮。将上轮调查所得意见的一致程度和各位专家的不同观点等信息，匿名反馈给每一位专家，再次征询意见。如此反复多次，使意见趋于一致，从而做出较为满意的评价。这个方法有三个基本要求：(1)匿名性；(2)反复循环；(3)统计结果。它通过统计调查结果的反馈再调查，多次循环而达成共识(见图63)。,2018/11/20,47,第6章 管理系统评价 第2节 定性评价方法 二、咨询方法的形式,图63 德尔菲法的程序,2018/11/20,48,第6章 管理系统评价 第2节 定性评价方法 二、咨询方法的形式,(四)名义群体法名义群体法(nominal group techniq
31、ue)在决策过程中限制名义群体的讨论或沟通，故称为名义群体法。与参加传统会议一样，群体成员必须出席，但他们是独立思考的，首先进行个体决策。,2018/11/20,49,第6章 管理系统评价 第2节 定性评价方法 二、咨询方法的形式,其步骤大致如下： 1成员集合成一个群体，一般78人，选出一个组长和记录员。2设定需要讨论的问题。3每个成员就有关问题各自独立地写出自己的观点或看法，而且要快，一般不超过15分钟。4经过一段时间的沉默后，每个成员将自己的想法提交给群体，即成员一个接一个地向大家宣布自己的想法，由记录员用一张大纸将大家的想法都记录下来，直到每个人的想法都表达完毕。在所有的想法都被记录下来
32、之前不进行讨论。,2018/11/20,50,第6章 管理系统评价 第2节 定性评价方法 二、咨询方法的形式,5大家对记录下来的内容进行讨论、修改并将同类意见进行归纳，最后形成几个建议(解决方案)。 6各成员独立地对解决方案进行排序，并且仍然将结果记录在纸上。7全体再讨论，最后排出各个解决方案的次序，取得名义群体的一致共识。这种方法的主要优点在于：使群体成员正式开会但不限制每个人的独立思考，而传统的会议方式往往做不到这一点。,2018/11/20,51,第6章 管理系统评价 第2节 定性评价方法 二、咨询方法的形式,(五)集成研讨厅法20世纪80年代初，我国著名科学家钱学森提出将科学理论、经验
33、和专家判断相结合的半理论、半经验方法。钱学森根据自己参加各种学术讨论会的丰富经验，结合信息技术、人工智能和灵境(virtual reality，虚拟仿真)技术等现代新科技成果，在1989年提出“从定性到定量综合集成法”(meta synthesis)，1992年提出“从定性到定量综合集成的研讨厅体系”(hall for workshop of meta synthetic engineering)，其内容第5章第1节已作了详尽的介绍。,2018/11/20,52,第6章 管理系统评价 第2节 定性评价方法 二、咨询方法的形式,研讨厅体系特点在于：第一，从传统的强调计算机的自动化求解问题转为强调
34、以人一机结合的方式研究问题，支持参与者研讨，并以“研讨”作为一种特征性决策支持方式；第二，从传统的注意从“还原论”角度对系统进行分解，转为从“综合集成”角度对系统进行整体把握和综合，以具有专业知识经验的人作为知识源和问题求解组元，使之成为系统的一部分；第三，改变了传统的单纯的定性分析或定量分析的做法，用定性与定量相结合的辅助决策技术，提供定性定量相结合的分析环境。,2018/11/20,53,第6章 管理系统评价 第2节 定性评价方法 三、专家意见的综合,(一)中位数法系统评价中的中位数是指专家对某事物的评价结果中的中分点数，即表示专家中有一半人的评价结果值大于它，而另一半人的评价结果值小于它
35、。在大于中位数的区间内，再找出的中分点值，称为上四分点；在小于中位数的区间内，再找出的中分点值，称为下四分点。这种方法用中位数代表专家们的评价结论，用上、下四分点代表专家们意见分散的程度。,2018/11/20,54,第6章 管理系统评价 第2节 定性评价方法 三、专家意见的综合,(二)算术平均值法算术平均值是把各个变量的重要程度看做相等的，而不考虑人员权重。用专家们对某方案评价结果评分的算术平均值，即评价值的总和除以评价值个数所得之商，表示综合评价的结果。(三)加权平均值法加权平均值法则根据各变量的重要程度的不同，将各个变量乘以代表该变量重要程度的权数，所得之积就是加权平均值。加权平均数在管
36、理系统评价中有重要用途，由于各种指标的重要程度不同，绝不能将其等量齐观。,2018/11/20,55,第6章 管理系统评价 第2节 定性评价方法 三、专家意见的综合,(四)满分频率法 所谓满分频率就是给S方案评满分的专家数 与对方案S作出评价的专家总数N之比。 设方案S获满分的频率为 ，则：满分频率 可作为方案优劣的补充准则， 越大，说明方案S打满分的人越多，从而方案越重要。,2018/11/20,56,第6章 管理系统评价 第3节 定量评价方法,管理系统综合评价的方法很多，聚类综合的法则也不少，各具优缺点，应用时应注意根据评价对象的具体情况，加以选择。定量评价方法发展到今天，已有数十种之多，
37、目前解决管理问题的常用定量评价法有层次分析法、多指标综合排序、模糊聚类评价法、灰色聚类评价法等。,2018/11/20,57,第6章 管理系统评价 第3节 定量评价方法 一、层次分析法,层次分析法(analytic hierarchy process，AHP)是由美国著名运筹学家萨蒂(T.L.Saaty)教授于20世纪70年代提出来的一种系统分析方法。这种方法把一个复杂的问题按属性的逻辑关系逐层分解，形成一个层次结构来加以分析，以降低分析问题的难度，并在逐层分解的基础上加以综合，给出复杂问题的求解结果。它是用一定标度对人的主观判断进行客观量化，将定性问题进行半定量分析的一种简单而又实用的多准则
38、评价决策方法。层次分析法强调决策者的直觉判断的重要性和决策过程中方案比较的一致性，目前已在各个领域获得广泛的应用。,2018/11/20,58,第6章 管理系统评价 第3节 定量评价方法 一、层次分析法,层次分析法的不足表现在其客观性不强。 一是，将定量指标主观化处理，仿照定性指标建立判断矩阵。 二是，判断矩阵的建立本身会因人而异，针对某一评价准则，层次分析法却又只需建立一个判断矩阵用于层次排序。也就是说，层次分析法难以综合各位评价人员的意见，随意性强。 三是，层次分析法的结果只是方案的优劣顺序，不能回答方案是否可行。 四是，由心理学实验可知，在不至于混淆时，人们只能对72个事物同时进行比较，
39、所以选用19标度。,2018/11/20,59,第6章 管理系统评价 第3节 定量评价方法 一、层次分析法,对于因素众多、规模较大的复杂系统(如要素个数大于9)，采用层次分析法进行评价时，该方法容易出现问题。因此，采用层次分析法进行管理系统评价时，就要求准则层指标(大类指标)不超过9项，各大类指标下属的明细指标个数也不超过9项。在实际应用中，一般采用AHP方法解决评价指标的权重确定问题。,2018/11/20,60,第6章 管理系统评价 第3节 定量评价方法 一、层次分析法,(一)层次分析法的基本原理其基本原理可以归结为：通过分析复杂系统所包含的因素及其相互关系，将系统分解为不同的组成要素，并
40、将这些要素划归不同层次，从而在客观上形成多层次的分析结构模型。根据指标的层次结构特点，将每一层次的各要素相对于其上一层次的各要素进行两两比较判断，得到其相对重要程度的比较标度，建立判断矩阵。,2018/11/20,61,第6章 管理系统评价 第3节 定量评价方法 一、层次分析法,通过计算判断矩阵的最大特征根及其相对应的特征向量，进行层次单排序，得到各层要素相对上层某要素的重要性次序，建立相对权重向量。最后自上而下地用上一层次各要素的组合权重为权数，对本层次各要素的相对权重向量进行加权求和，进行层次总排序，得出各层次要素关于系统总体目标的组合权重，从而根据最终权重的大小进行方案排序，为选择最佳方
41、案提供决策依据。,2018/11/20,62,第6章 管理系统评价 第3节 定量评价方法 一、层次分析法,(二)层次分析法的实施步骤1建立层次结构模型。,图64 层次结构模型图,2018/11/20,63,第6章 管理系统评价 第3节 定量评价方法 一、层次分析法,值得说明的是，评价原则要求一致性，所以目标层与准则层之间、准则层内部各层之间一般是完全层次关系，即上一层次某要素与其下属的相邻层次所有要素均相关联。,2018/11/20,64,第6章 管理系统评价 第3节 定量评价方法 一、层次分析法,2构造判断矩阵。一个要素被分解成为若干个与之相关的下层要素，各下层要素对该要素的作用大小不同，一
42、般称为权重向量W。所谓判断矩阵，是指以矩阵的形式来表述每一层次中各要素相对于其上层某要素的相对重要程度。建立判断矩阵是层次分析法中最关键的一步。 判断矩阵应具有如下特征： (1)自比性。 akk=1 (2)反比性。akj=1/ajk 或 akjajk =1 (3)一致性。 akj =akl/ajl,2018/11/20,65,第6章 管理系统评价 第3节 定量评价方法 一、层次分析法,3一致性检验。一致性是指判断矩阵中各要素的重要性判断应该一致，不能出现矛盾。人们在进行主观评价时，对评价系统方案的认识具有片面性，所建立的判断矩阵就不可能表现出完全一致性。例如，虽然认为甲比乙稍微重要a甲乙=3，
43、而乙又比丙重要a乙丙=2，但人们在判断甲与丙的重要程度时，可能认为甲比丙强烈重要a甲丙=7，就不具有完全一致性。事实上，人们主观确定的判断矩阵不可能完全一致，这就需要对所建立的判断矩阵进行一致性检验，用一致性指标来检验判断矩阵的一致性问题，以防止人们的思维出现矛盾。只有通过一致性检验的判断矩阵才可以用于层次排序。,2018/11/20,66,第6章 管理系统评价 第3节 定量评价方法 一、层次分析法,3一致性检验。根据矩阵理论，对n阶判断矩阵，其最大特征根为单根，而且最大特征根max n。当k，j=1，2，n，判断矩阵的所有元素如果都满足akjajk =1，即具有完全一致性，从数学上可以证明，
44、这样的n阶判断矩阵具有唯一非0的最大它特征根，即max =n，其余特征根均为0。当判断矩阵不能保证具有完全一致性时，其特征根也将发生变化。因此，我们可以利用判断矩阵特征根的变化来判断一致性程度。在层次分析法中引入判断矩阵的一致性指标，来检验人们思维判断的一致程度。一致性指标记为C.I.（consistency index），计算式如下：C.I.=(max n)/(n-1)C.I.值越大，表明判断矩阵偏离完全一致性的程度越大； C.I.值越小（越接近于0），表明判断矩阵的一致性越好。,2018/11/20,67,第6章 管理系统评价 第3节 定量评价方法 一、层次分析法,3一致性检验。对于不同阶
45、的判断矩阵，人们判断的一致误差不同，则对C.I.值得要求也不同。阶数n越大，需要比较的要素就越多，人的思维分辨能力降低，造成判断不一致的可能性增大， C.I.值就越大；反之，阶数n越小，认为造成偏离一致性判断的可能性就越小。为度量不同阶判断矩阵是否具有满意的一致性，再引入判断矩阵的平均随机一致性指标R.I.（random index）。R.I.是一个系数，对不同阶次数值见表6-2：,2018/11/20,68,第6章 管理系统评价 第3节 定量评价方法 一、层次分析法,3一致性检验。对于一阶、二阶矩阵，判断矩阵是完全一致的，不必计算一致性指标。当n3时，判断矩阵的一致性指标C.I.与同阶平均随
46、机一致性指标R.I.之比称为随机一致性（consistency ratio），记做C.R.，即：C.R. = C.I. /R.I.当C.R. 0.1时，即认为判断矩阵具有满意的一致性；否则， C.R. 0.1时，认为判断矩阵不一致，应对判断矩阵做适当调整，使其满足C.R. 0.1，从而使判断矩阵具有满意的一致性。,2018/11/20,69,第6章 管理系统评价 第3节 定量评价方法 一、层次分析法,4层次单排序。判断矩阵是针对上一层某要素而言进行两两比较的重要性评比数据。层次单排序就是把本层所有要素针对上一层某要素排出评比的优劣次序，这种次序以相对数值大小表示，称为相对权重向量。由于运用线性
47、代数求矩阵的特征根和特征向量比较复杂，计算量大，层次分析法中一般采用近似计算，常用的近似计算方法有方根法和求和法，其中方根法应用更为普遍。(1)方根法。(2)求和法。,2018/11/20,70,第6章 管理系统评价 第3节 定量评价方法 一、层次分析法,4层次单排序。(1)方根法。 计算n阶判断矩阵每一行各元素之乘积Mk，即：k=1,2,n 计算Mk的n次方根 k=1,2,n规范化处理（归一化处理）得特征值wk:k=1,2,n,2018/11/20,71,第6章 管理系统评价 第3节 定量评价方法 一、层次分析法,4层次单排序。由上式得到特征向量W=(w1,w2,wn)T ，就是所求的相对权
48、重向量。近似计算最大特征根max ：式中：Ann阶判断矩阵；WA的相对权重向量；(AW)k矩阵A与向量W乘积所得列向量的第k个元素。,2018/11/20,72,第6章 管理系统评价 第3节 定量评价方法 一、层次分析法,4层次单排序。 （2）求和法。将判断矩阵每一列作归一化处理，即：k,j=1,2,n 完成归一化后，再求每一行各元素之和k=1,2,n,2018/11/20,73,第6章 管理系统评价 第3节 定量评价方法 一、层次分析法,4层次单排序。 （2）求和法。 对 进行归一化处理：k=1,2,n从而得到特征向量W=(w1,w2,wn)T ，就是所求的相对权重向量。近似计算最大特征根m
49、ax ：,2018/11/20,74,第6章 管理系统评价 第3节 定量评价方法 一、层次分析法,5层次总排序。所谓层次总排序就是针对最高层目标而言，本层次各要素重要程度的次序排列。总排序需从上到下逐层顺序进行，最高层次的层次单排序正是相对于总目标而言的，所求相对权重向量也就是其总排序的结果。,2018/11/20,75,第6章 管理系统评价 第3节 定量评价方法 一、层次分析法,【例6-3】价格、质量、品种、时间、服务和环保是影响顾客需求的六大因素，顾客对这六方面因素的满意度越高，企业就越具有竞争力。其中，成本是顾客为获得和使用产品在经济上的付出；质量反映产品功能的可靠性程度，决定了顾客对产品满意程度的高低；时间（交货期）衡量以多快的速度响应顾客的需求，主要涉及产品制造周期和物流运输周期；品种是顾客对不同产品的选择余地；环保是指产品在生产、使用和回收过程中对环境的负面影响最小。实际应用中，这六大因素作为六项准则发挥作用，且各项准则还可以进一步细分，构成多层准则。为了简化起见，下面选择成本U1、质量U2和品种U3三项准则，介绍运用层测分析法进行产品设计方案优选的步骤。,
