1、1,第八章 系统评价,2,主要内容,8.1 概述 系统评价的复杂性 系统评价与系统决策 系统评价应遵循的原则 评价指标体系的建立 8.2 评价指标的数量化方法 排队打分法 体操计分法 专家评分法 两两比较法 连环比率法 8.3 指标综合方法 加权平均法 功效系数法 主次兼顾法 效益成本法 罗马尼亚选择法 分层系列法 8.4 模糊综合评价方法 模糊综合评价的数学模型 模糊综合评价的应用 多级模糊总评价,3,主要内容,8.1 概述 系统评价的复杂性 系统评价与系统决策 系统评价应遵循的原则 评价指标体系的建立 8.2 评价指标的数量化方法 排队打分法 体操计分法 专家评分法 两两比较法 连环比率法
2、 8.3 指标综合方法 加权平均法 功效系数法 主次兼顾法 效益成本法 罗马尼亚选择法 分层系列法 8.4 模糊综合评价方法 模糊综合评价的数学模型 模糊综合评价的应用 多级模糊总评价,4,系统评价是根据预定的系统目标，采用系统分析方法，对新开发的或改建的系统的各种设计方案，从所涉及和影响的各方面（技术、经济、社会、生态、政治、军事等）进行评审和比较，全面权衡利弊得失，以评定方案优劣，为决策选择最优方案提供科学的依据。,什么是系统评价,5,一、系统评价的复杂性,复杂系统常常需要实现多个目标，而且需要给出定量依据，存在如下困难：,有的指标难以数量化； 不同指标可能存在矛盾，方案之间各有所长而难取
3、舍； 评价指标和结果易受评价主体的主观因素影响。,解决上述困难的方法：,指标数量化； 指标无量纲化； 指标归一化。,6,二、与系统决策的区别与联系,系统评价是技术工作，由技术人员完成；系统决策是领导工作，由领导者最终完成，更多是一种艺术。 系统评价可给出方案优劣性的评定结果，是决策的主要依据；但系统决策还受某些隐蔽、难以描述或不宜公开的因素影响。,系统评价与系统开发、系统决策之间的关系,7,要保证评价的客观性资料全面可靠，人员有代表性和全面性，人员能自由发表意见且无倾向性，等等。 要保证方案的可比性 评价指标要系统化 评价指标要符合国家方针政策,三、系统评价的原则,8,简要说明各方案，明确系统
4、方案的目标体系和约束条件； 确定由所有单项和大类指标组成的评价指标体系； 确定各大类及单项评价指标的权重； 进行单项评价，查明各项评价指标的实现程度； 进行综合评价，综合各大类指标的价值和总价值； 给出评价结论，包括对方案的优劣分析、排序，对评价结论的分析意见等。,系统评价的步骤：,三、系统评价的原则,9,简要说明各方案，明确系统方案的目标体系和约束条件； 确定由所有单项和大类指标组成的评价指标体系； 确定各大类及单项评价指标的权重； 进行单项评价，查明各项评价指标的实现程度； 进行综合评价，综合各大类指标的价值和总价值； 给出评价结论，包括对方案的优劣分析、排序，对评价结论的分析意见等。,系
5、统评价的步骤：,三、系统评价的原则,10,1. 评价指标体系的组成,政策性指标，方针、政策、法令等方面要求； 技术性指标，性能、寿命、可靠性、安全性等； 经济性指标，成本、利润等； 社会性指标，就业、社会福利、污染、环境等； 资源性指标，物资、人力、能源、土地条件等； 时间性指标，进度、试制周期等； 风险性指标，失败的可能； 其它指标。,四、评价指标体系的建立,11,完整性原则； 非相容性原则； 客观性原则； 可测性原则； 简洁性原则。,2.建立评价指标体系的原则,四、评价指标体系的建立,此外，在不同的时期，评价标准可能变化，造成指标体系可能不同；考虑的重点不一样，各评价指标的重要性不一样，即
6、权重可能不同。,12,主要内容,8.1 概述 系统评价的复杂性 系统评价与系统决策 系统评价应遵循的原则 评价指标体系的建立 8.2 评价指标的数量化方法 排队打分法 体操计分法 专家评分法 两两比较法 连环比率法 8.3 指标综合方法 加权平均法 功效系数法 主次兼顾法 效益成本法 罗马尼亚选择法 分层系列法 8.4 模糊综合评价方法 模糊综合评价的数学模型 模糊综合评价的应用 多级模糊总评价,13,一、排队打分法,对已有明确数量值的评价指标，可直接根据数量值大小排定名次，并确定各方案的无量纲分值。具体可采用m级记分制，即最优者记m分，最劣者记1分，中间方案则采用等步长或不等步长计分。也可统
7、一采用10分制。,14,二、体操计分法,类似体操比赛的计分方法。请6位裁判独立地给表演者按照10分制打分，得到6个评分，去掉最高分和最低分，剩下4个分数取平均值。,15,三、专家评分法,利用多名专家的经验和感觉，按给定的记分制对不同方案打分，再计算每个方案的平均分即可。 如对多台设备的操作性进行评价，请若干名专家，即有经验的实际操作者来试车，专家根据主观感觉和经验判断。 对每台设备按一定的记分制来打分，将每台设备得分按专家取平均，即得到该设备的得分数。,操作者对各设备的感受情况,例8-1： 有5台设备，15个操作者，其操作感受情况如下表所示。,17,每个方案的得分值F也可转化为百分制、10分制
8、、5分制等，此时得分最高者取满分。 百分制,其中,三、专家评分法,还可以计算每个方案的“得分系数”，作为衡量方案优劣的数量标准：,18,转化后得到：,三、专家评分法,19,四、两两比较法,将方案两两比较打分，然后对每一方案得分求和，并进行百分化等处理。1. 01打分法（强制确定法）将n种方案排成n阶方阵，其元素,方案i的最后得分即方阵第i行元素的和 。,20,四、两两比较法,例8-2：,21,2. 04打分法类似01打分法，但分数划分更细。n阶方阵的元素,四、两两比较法,22,例8-3：,四、两两比较法,23,3. 多比例打分法04打分法的扩展，分档更细。要求两方案得分和为1，其比例可为1:0
9、，0.9:0.1，0.8:0.2，0.7:0.3，0.6:0.4，0.5:0.5。,例8-4：,四、两两比较法,24,是一种确定得分系数或加权系数的方法，步骤如下： 由上到下根据上下方案比率填写暂定分数列； 由下到上根据暂定分数填写修正分数列； 将修正分数归一化得到各方案得分系数。,五、连环比率法,25,例8-5: 填写暂定分数,五、连环比率法,A1的优越性是A2的2倍,A5没有比较，为1.0,26,修正分数，从下向上进行。,五、连环比率法,以A5为基准，依次往上进行,27,得分系数,五、连环比率法,13.75,4.50,28,主要内容,8.1 概述 系统评价的复杂性 系统评价与系统决策 系统
10、评价应遵循的原则 评价指标体系的建立 8.2 评价指标的数量化方法 排队打分法 体操计分法 专家评分法 两两比较法 连环比率法 8.3 指标综合方法 加权平均法 功效系数法 主次兼顾法 效益成本法 罗马尼亚选择法 分层系列法 8.4 模糊综合评价方法 模糊综合评价的数学模型 模糊综合评价的应用 多级模糊总评价,29,一、加权平均法,设方案Ai的指标因素Fj的得分（或得分系数）为aij，则可将aij排列为评价矩阵如下：,30,一、加权平均法,1.加法规则,一般思路,31,1.加法规则,一、加权平均法,32,一、加权平均法,例8-6：有3个方案，5项指标，数据如下。试计算各方案综合评价值。,33,
11、2.乘法规则,一、加权平均法,乘法规则应用场合是要求各项指标尽可能取得较好的水平，才能使总的评价值较高。不容许哪一项指标处于最低水平上。只要有一项指标的得分为0，则总的评价值为0，方案将被淘汰。,加法规则各项指标可以线性地互相补偿。,34,乘法规则的应用理想系数法： 1.用某种评分方法对每个方案的各项功能进行评分； 2.计算功能满足系数；3.按下式计算经济满意系数；4.计算方案的理想系数,一、加权平均法,35,例8-7：森林火警探测系统有四个可行方案，对它们从技术上按照下表所示的标准进行评分。,一、加权平均法,评分结果和功能满足系数如下表所示。,1.00,36,一、加权平均法,成本基数按森林火
12、灾平均损失1/30计算，这里取119万元。各方案的满意系数如下表所示。,显然，应该取方案C或D,37,二、功效系数法,设系统有n项评价指标f1(x)，f2(x)，fn(x)，其中有些越大越好，有些越小越好，其它则要求适中。为了方便统一处理，为这些指标赋以一定的功效系数 ，一般 。根据上述对评价指标的不同要求，函数 有不同形态。,38,函数 相应的不同形态。,(a),(b),(c),d,d,d,二、功效系数法,39,二、功效系数法,把单项评价指标转化为功效系数后，可以用一个总的功效系数作为综合评价值，该值越大越好。,D的综合性很强。当某项指标 很不满意时，,则D=0,功效系数法是加权平均法乘法法
13、则的特例。,当某项指标都令人满意时 ，则,40,二、功效系数法,例8-8：某产品4项指标：f1表示产量，允许在40100件之间变化；f2表示硬度，允许在3.24.4之间变化；f3表示能耗，允许在6.08.5kW之间变化； f4表示合格率，不允许低于50%；显然， f1 、f4越高越好， f3 越低越好，f2适中为好。功效函数如下。,41,二、功效系数法,有两种工艺方案，满足4项指标的情况如下表所示,总的功效系数,计算得到：D1=0.752，D2=0.726 显然，方案1比方案2好,42,三、主次兼顾法,系统具有多项指标，其中某一项最为重要，而其他指标在一定的范围内变化。变原问题为单目标线性规划
14、问题：,例如一个工厂，要求产品利润高、质量好、成本低、污染少。如果利润最重要，则可令利润指标最大，其他指标满足一定的约束条件。,43,某些问题评价目标可分两类，一是效益，即实现方案后能得到的收益；另一是成本（或费用），即为实现方案须支付的投资或费用。将每个方案的效益与成本分别计算后，再比较其综合指标效益成本比（或效益费用比），就可评价方案优劣。显然，效益成本比（或效费比）愈大，方案愈优。,【例8-9】设某厂新建工程有三个方案，各方案实现目标的情况如下表所示，请用效益成本法确定方案的排序。,四. 效益成本法（费效分析法）,44,四. 效益成本法（费效分析法）,45,用效益成本法评价方案没有严格一
15、致的步骤，随评价和决策问题的不同，分析内容和方法也不相同。为使多目标评价与决策问题的解决尽量规范化，罗马尼亚经济学家曾采用了一种所谓选择法，是一种比较适用的、简便的规范化方法。,步骤： 1. 把表征各个目标的具体数值化为以100分为满分的分数，这一步称为分数标准化。具体是，分别从各方案的同一个目标的具体数值去比较方案的得分：最优方案得100分，最劣方案得1分，其它方案按下式计算得分数X,五.罗马尼亚选择法,46,式中：A为最好方案的具体数值；B 最差；C为计算；X得分数。,2. 根据各目标在方案评价中的重要程度确定其加权系数，重要目标给较大的加权系数，另外，同一目标中各方案分数差异大的，加权系
16、数也应大一些。 3. 计算各方案的分数加权和，根据分数加权和的大小排出方案的优劣顺序。,五.罗马尼亚选择法,47,【例8-10】现仍以上述【例8-9】为例，采用罗马尼亚选择法来确定方案的排序。,五.罗马尼亚选择法,48,主要内容,8.1 概述 系统评价的复杂性 系统评价与系统决策 系统评价应遵循的原则 评价指标体系的建立 8.2 评价指标的数量化方法 排队打分法 体操计分法 专家评分法 两两比较法 连环比率法 8.3 指标综合方法 加权平均法 功效系数法 主次兼顾法 效益成本法 罗马尼亚选择法 8.4 模糊综合评价方法 模糊综合评价的数学模型 模糊综合评价的应用 多级模糊总评价 8.5 灰色评
17、价法,49,什么是事物的模糊性？,指客观事物在中介过渡时所呈现的“亦此亦彼性”。,(1)清晰的事物每个概念的内涵（内在涵义或本质属性）和外延（符合本概念的全体）都必须是清楚的、不变的，每个概念非真即假，有一条截然分明的界线，如男、女。,(2)模糊性事物由于人未认识，或有所认识但信息不够丰富，使其模糊性不可忽略。它是一种没有绝对明确的外延的事物。如美与丑等。人们对颜色、气味、滋味、声音、容貌、冷暖、深浅等的认识就是模糊的。,模糊综合评价方法,50,“事物的复杂性与精确性的矛盾是当代科学的一个基本矛盾”，由此促使着模糊数学的产生和发展。,“模糊”并非坏事，在有些情况下它比精确更有意义，会带来更好的
18、效果，如模糊描述人的特征，对人进行模糊综合评价。郑板桥讲“难得糊涂”，实际上包含了难得模糊的哲理。,模糊综合评价方法,51,模糊综合评价方法,很多时候，人们不仅要从多种因素考虑，且一般只能用模糊语言描述。如显示器的舒适性，人员的政治立场坚定，某建设方案的社会影响等。评价者从诸因素出发，参照有关信息，根据其判断对复杂问题分别作出“大、中、小”；“高、中、低”；“优、良、可、劣”；“好、较好、一般、较差、差”等程度性的模糊评价。,52,多因素评价较困难，因为要同时综合考虑的因素很多，而各因素重要程度又不同，使问题变得很复杂。如用经典数学方法来解决综合评价问题，就显得很困难。而模糊数学则为解决模糊综
19、合评价问题提供了理论依据，从而找到了一种简便而有效的评价与决策方法。可通过模糊数学提供的方法进行运算，得出定量的综合评价结果，从而为正确决策提供依据。,模糊综合评价方法,53,一、模糊综合评价的数学模型,1.模糊数学的产生,至今，数学的发展已经历三代：,（1）第一代数学：经典数学，研究和处理精确的必然现象；,（2）第二代数学：统计数学，研究和处理事物偶然性(随机性)；,（3）第三代数学：模糊数学，研究和处理事物的模糊性。,它们都是不确定数学，是精确（确定）数学的延伸和发展。,Fuzzy Maths ，专门用来处理和研究模糊性事物的一种新的数学方法。1965年美国加州大学查德(L.A.Zadeh
20、)教授发表Fuzzy Sets一文，标志其诞生。,54,2.模糊数学的任务,（1）给数学“禁区”的各门学科，如社会、人文学科等提供新的语言和工具；,（2）使计算机能仿效人脑对复杂系统进行识别和判断，提高自动化水平，使电脑更“聪明”。,一、模糊综合评价的数学模型,55,给定评价指标因素（着眼点）的有限集合和评语的有限集合,则相对某一单项评价因素u1而言，评价结果可以用评语集合V这一论域上的模糊子集 来描述：,并简记为向量形式,一、模糊综合评价的数学模型,56,如对教材进行评价，假如评价科学性(u1)、实践性(u2) 、适应性(u3) 、先进性(u4) 、专业性(u5)等方面，则评价指标因素集为,
21、若评价结果划分为“很好” (v1) 、“好” (v2) 、“一般” (v3) 、“差” (v4)四个等级，评语集则为,一、模糊综合评价的数学模型,57,如只对科学性(u1)一个因素来评定该教材，若采用民意测验的方法，结果16%的人说“很好”，42%的人说“好”， 39%的人说“一般”， 3%的人说“差”，则评价结果可用模糊集 描述,评价结果 是评语集合V这一论域上的模糊子集。,可简记为向量形式,一、模糊综合评价的数学模型,就是对被评对象所做的单因素评价。,58,然而，一般往往需要从几个方面来综合地评价某一事物，从而得到一个综合的评价结果。对多指标因素的综合评价，最终结果仍是评语集合V这一论域上
22、的模糊子集，记作 。,其中 bj 为V中相应元素的隶属度，且 。,简记为m维向量形式,一、模糊综合评价的数学模型,59,实际评价工作中，考虑到不同评价因素重要性的区别，评价因素集合是因素集U这一论域上的模糊子集，记作 。,简记为n维向量形式,其中 ai 为U中相应元素的隶属度，且 。,一、模糊综合评价的数学模型,60,一个模糊综合评价问题，就是将评价因素集合U这一论域上的一个模糊集合 经过模糊关系变换为评语集合V这一论域上的一个模糊集合 ，即,上式即模糊综合评价的数学模型。其中,种评语的可能程度。模糊综合评价模型中的矩阵乘积表示复合关系。,模糊综合评价的结果，是m 维模糊行向量。,模糊评价因素
23、权重集合，是n维模糊行向量。,从U到V的一个模糊关系，是 矩阵。,表示从第i个因素着眼，做出第j,一、模糊综合评价的数学模型,61,模糊综合评价的步骤：,设定评价指标因素集U； 设定评语集V； 确定评价指标权重集 ； 用民意测验方法请专家实施评价； 建立评价矩阵 ； 按数学模型进行综合评价； 归一化处理，得出具有可比性的综合评价结果。,一、模糊综合评价的数学模型,62,二、模糊综合评价的应用,1.用于讲课质量的评估U = 清楚易懂，教材熟练，生动有趣，板书整洁V = 很好，较好，一般，不好,63,二、模糊综合评价的应用,归一化：,64,2.用于科技成果的评定 U = 水平，成功概率，经济效益V
24、 = 高，中，低,二、模糊综合评价的应用,65,二、模糊综合评价的应用,66,二、模糊综合评价的应用,综合评价：,归一化：,排序： 乙、甲、丙,67,3.某品牌服装的市场定位选择（方案不同，各指标权重不同）,二、模糊综合评价的应用,68,利用市场调查获得模糊评价矩阵：,二、模糊综合评价的应用,69,4.不同类型考核的综合（考核类型不同，各指标评语不同）,设考核因素集为F = f1,f2,f3,f4，评语集为E = e1,e2,e3,e4，因素的权重为WF= 0.35,0.35,0.15,0.15。又设考核集为T=t1,t2，t1表示日常考核，t2表示晋级考核，设日常和晋级考核重要性分别为0.6
25、,0.4。甲乙两人的日常考核/晋级考核统计记录分别如下，要求进行模糊综合评价。,二、模糊综合评价的应用,70,二、模糊综合评价的应用,可得：,设考核因素权重为WT=0.6,0.4,71,三、多级模糊总评价,举例：战略导弹效能的多级模糊总评价问题。,72,三、多级模糊总评价,评语等级分为5级： 好、较好、一般、较差、差,假设已得到以下中间结果： 可靠性： 维修性： 安全性： 适应性：,有效性的四个方面的权向量为 ：,则有效性的模糊综合评价结果为 ：,73,三、多级模糊总评价,假设已得到以下中间结果： 威 力：有效性：机动能力：,总体性能的三个方面的权向量为 ：,则总体性能的模糊综合评价结果为 ：
26、,74,8.5 灰色评价,灰色评价法是运用灰色系统理论将评价专家的分散信息处理成一个描述不同灰类程度的权向量。在此基础上，再对其单值化处理，得到受评结果的综合评价值，进而可进行项目间的排序选优。这提高了评价的科学性和精确性。,75,76,77,78,79,80,81,82,83,84,85,86,87,88,89,90,91,92,93,94,95,96,系统评价的步骤 系统评价是相对的 系统评价是决策的依据,小结,97,系统评价的主要困难是什么？应该如何解决这些困难？ 请就本人学习、生活或工作中某具体问题，建立其指标体系。,思考题,98,1.假设对电视机的评价因素U=图像u1，声音u2，价格u3，评语集合V=很好v1，较好v2，可以v3，不好v4，现请专家10人对三种电视机进行评价，结果如下：,设某类顾客主要关心图像、价格，对音质不太关心，即试对以上三种电视机进行模糊综合评价。,作业,
