1、第28卷第4期 2015年10月 烟台大学学报(自然科学与工程版) Journal of Yantai University(Natural Science and Engineering Edition) V0128 No4 0ct2015 文章编号：1004-8820(2015)04-0249-06 doi：1013951jcnki371213n201504004 确定专家权重的数量积法及在排名中的应用 郭东威 ，丁根宏 ，毛俊诚 ，陈玉磊 (1河海大学理学院，江苏南京211100；2北京科技大学数理学院，北京100083) 摘要：对群决策及残缺主观评价系统研究分析，发现直接对评分取均值排
2、名会因专家打 分尺度的不同带来较大误差，虽然T分数法可以将打分尺度统一，但是缺乏对专家评价 对象不同的考虑为减小此系统误差，提出了一种确定专家权重的数量积法，并将其应用 于论文型竞赛排名系统与传统方法及T分数法比较，对T分数求加权平均值排名，提高 了主观名次与客观名次的重合度，减小了其乱序度计算欧氏距离，证明新方法减小了评 委打分的误差度及论文的争议度 关键词：主观评价；数量积；权重；残缺评分矩阵；系统误差 中图分类号：029 文献标志码：A 在群决策中，尤其是主观评价系统，专家权重起 着至关重要的作用，它直接影响着决策的结果专家 权重可分为先验权重和后验权重 先验权重由相 关的先验信息(如历
3、史数据)计算得出，是对专家知 识、经验、能力、水平、期望及偏好等的综合数量表 示确定先验权重常用的方法有AHP法、Delphi法、 利用互评的方法 j、夏普利一舒笔克权力指数 法 J、班扎夫权力指数法 等后验权重是将专家 决策结果与实际比较，确定前者相对于后者的偏离 程度，通过反馈信息、逆判进行赋权确定后验权重 的方法有利用均衡指标CHI的方法 、利用一致性 指标的方法 J、最大特征值方法 、导出矩阵的方 法 J、相似度函数方法 j、信息熵的权力指数法 等此外，Patrik Eklund等 研究了满足共识度和规 模度的群决策中专家交互过程问题 已有的方法 侧重点各有不同，涉及具体问题时可根据各
4、方法的 特点采用一种或多种方法来考查问题群决策论文 型竞赛名次问题是一类主观评价性问题，由于各评 委打分习惯及把握评分标准的不同，使得决策误差 较大目前已有不少专家学者对此问题做了深入的 研究，比如T分数法 J，基于神经网络技术的评卷 模式 ，对残缺数据进行填补 等本研究在前 人研究的基础上，提出了确定专家权重的数量积法， 通过论文型竞赛排名的模拟试验，证明该权重可以 有效减小此类决策的误差，增强了决策的科学性准 确性 1 确定专家权重的数量积法 设m个专家对n个评价对象的评判矩阵为A =(0 ) ，o 是专家i对评价对象 的打分，0i 越 大，代表对象 在专家i心目中的地位越高设理想 评判向
5、量 为S =(口 ，a2 ，口 )，则不同专家 i的评判向量S =(o0 ，口 )与 的一致程度 很难保证相同，2个向量的一致程度可以由它们的 夹角余弦判断 因此直接用原始评判矩阵A 来评判这7,个对象误差就较大，但是若经加权后 Sf=(W 0 0 ， 0 )能够很好地接近s ， 收稿日期：2015-04-08 基金项目：中央高校业务费资助项目(B12020128) 作者简介：郭东威(1986一)，男，河南开封人，硕士研究生 通信作者：丁根宏(dinggenhong126con)，副教授，博士，研究方向：运筹学优化与控制 250 烟台大学学报(自然科学与工程版) 第28卷 那么用加权评判矩阵(
6、 0 ) 来评判这 个对象 就可以有效减小误差因此，我们取数量积 SiS ：S S ，即 IVi口 =( ) (i=1，2，m)， 一寺 = 一般地，对于理想评判向量S =(aI ，a2 ， 0 )的确定，一般采用以下原则：当评价对象为效益 型属性时，aj =max口 ；当评价对象为成本型属性 时，aj =mina ；当评价对象为客观评价型属性时， 口旷 2在论文型竞赛排名中的应用 21论文分配模型 在大型竞赛中，比如全国大学生数学建模竞赛， 由于工作量、时间等原因，每位评委不能评阅每份论 文为使决策公平公正科学化，只能在某种最优准则 下，每篇论文由随机的几个评委逐一评分因此，评 分矩阵A=(
7、a ) 是残缺不全的，残缺部位可用0 填充 设共有参赛论文n份，随机编号为1一n；评委 m位，随机编号为1一m每份试卷由t位评委评分 系统符号：(i) =I或0， =i表示第i位评 委评阅了第 篇论文，否则 =0；(2)u 、d 分别表 示第i位评委评阅论文数量的上、下限；(3)Q 表示 第i位评委评阅论文的数量，Q = 论文分配的数学模型： 目标函数rainz=(maxQ minQ。) 目标函数说明：使得任意2个评委所评阅论文 的数量尽可能接近 约束条件St d M i=1 Q ： =0或1 约束说明：(1)d “ ：来自第i位评委最 少评阅d 份论文，最多评阅“ 份论文；(21 ： 每份论
8、文由t位评委评阅 22常用排名方法简介 方法1(传统方法)：直接对各篇论文的原始得 分取平均值进行排名 方法2(T分数法)：将原始评分按公式(1)转 换后的分数6 称为T分数，依据T分数均值对论文 排名的方法称为T分数法 b ： + (1) + ( 其中：五 表示评委i打分的均值， 表示评委i打分 的标准差T分数法将每个评委的均分及标准差都 平移到同一值 及 ，消除了评分系统误差一般取 =70， =10 23评委权重及竞赛名次的确定 假设：(1)每个评委都有较高的评阅水平，即他 对一组论文进行排名应和该组论文的真实排名不会 出现严重不合，误判情况除外(2)每个评委都是公 正的，即如果他认为论文
9、A优于论文B，则应有A 的分值大于B的分值 首先将原始残缺评分矩阵A=( ) 按公式 (1)并取 =70， =10转化成T分数评分矩阵B= (b ) 竞赛排名属于客观评价型问题，因此取理 想评判向量S =(6 ，6 ，b， )中的元素bi = 6 由于B=(b ) 是残缺型矩阵，因此评委 (xiib ) 权重 = _ ，其中 =1或0， ，=1表示第 6 i位评委评阅了第 篇论文，否则 =0最终评判矩 阵C=(c )Dx rl,=( b)mn，取c的列向量均值并 按大小排名即可 3模拟试验及对比分析 31成绩的生成 统计资料表明，在大型竞赛中，考生总体成绩合 理有效的分布应该呈对称正态分布或正
10、偏态分布， 因此本文所做的100次模拟试验中，论文的客观成 绩、各评委所打的分数均服从正态分布，具体操作如 下 假设一组论文的客观成绩由计算机按公式xj= 60+8randn(1，凡)随机产生n个服从正态总体 (60，8 )的样本，按大小排序就得到论文的客观名 1 次则此样本均分为元=一1 ，样本标准差为 = 耋( 第4期 郭东威，等：确定专家权重的数量积法及在排名中的应用 25l 第i个评委的打分由计算机按公式a =round ( 。+ )生成，表示第 个评委的打分服从正 态总体N(tx ， )，并四舍五人取整tx ， 的差异可 以表示评委打分的差异 32检验排名结果好坏的指标 定义1主观名
11、次：一篇论文依据评委的打分 排名得到的名次称为主观名次第 篇论文的主观 名次记为 ，其客观名次记为p 定义2重合度：主观名次与客观名次相同的 个数称为重合度，用c表示显然，重合度越大越 好 定义3乱序度：每篇论文的主观名次与其客 观名次之差的绝对值的和称为乱序度，用D表示 则 D=l tjPj 1 显然，乱序度越小越好 33对评委评分误差度及论文争议度的分析 考查评委评分的误差度及论文的争议度，可以 引入欧氏距离来测度，即对第i号评委，有 厂 一 D =( 一 ) 。 ， (2) 对第 篇论文，有 H = 厂 一 ( 一 ) 。 ， (3) 其中 表示在某种排名方法中第i位评委评给第 篇论文的
12、评分 是相应方法中第 篇论文的均分； =1或0， =1表示第i位评委评阅了第 篇论 文，否则 =0D 值越小，说明第i位评委的评分越 接近论文的最终得分，即他的评分误差度就越小；D 值越大，说明第i位评委的评分误差度就越大日 值 越小，说明评委们对第 篇论文的评价越一致，日 越 能客观反应第 篇论文的真实水平；日 值越大，说明 评委们对第 篇论文的争议越大根据经验，一般争 议大的论文可能有两种情况，一是有评委误判，二是 该论文创新性强，所用方法尚未在学术圈内进行过 充分的讨论，因此造成评委不能够达成统一的认识 所以，在赛制允许的情况下应该对争议大的论文重 新讨论并进行分数修正，以体现公正的原则
13、及对创 新精神的保护，同时也是一次深入进行学术研讨的 机会 34具体试验及结果分析 取论文数量n=40，评委数m=5，进行随机模 拟N=100次试验，并将本文方法的结果与排名方 法1、方法2的结果作比较，具体见表1为方便起 见，以下称本文方法为方法3 表1 100次试验结果 Tah1 100 tests result 从表1可以明显看出方法3的排名效果要优于 方法1与方法2，说明评委权重大大优化了排名的 结果 下面给出其中的一次试验，具体数据及3种方 法的排名结果见表2，评委权重见表3，3种排名方 法的结果比较见表4由表2可以知道每位评委评 阅论文24份，说明了本文给出的论文分配模型的可 行性
14、由表2、表4不难看出方法1的排名效果最 差，而且容易出现得分相同的现象；方法2和方法3 在最终的得分上有1分左右的差别，这是由于不同 评委所评阅的论文水平的差异引起的，由权重予以 修正的方法3的排名结果要比方法2更科学 图1、图2分别利用式(2)、(3)的分析模型，比 较了3种排名方法的结果，显然新方法明显降低了 评分误差度，提高了评委的准确度，减小了论文的争 议度，因此排名结果更科学合理 252 烟台大学学报(自然科学与工程版) 第28卷 表2 Tab2 成绩及名次 Scores and rankings 第4期 郭东威，等：确定专家权重的数量积法及在排名中的应用 253 表3评委权重 Ta
15、b3 Expelsweights 指标 方法1 方法2 方法3 3O 25 20 鼗15 1O 5 7O 60 50 40 霪30 20 1O O 1 2 3 4 5 评委编号 图1评分误差度比较 Fig1 Comparison of scoring eiTor 0 1 2 3 4 5 6 7 8 9 10 ll 12 13 l4 l5 16 17 18 l9 20 21 22 23 24 2526 27 28 29 3O 31 32 33 34 35 36 37 38 39 40 论文编号 图2论文争议度比较 Fig2 Comparison of the controversial 4 结束
16、语 合理确定专家的权重，可以有效提高决策的科 学性准确性通过对群决策及主观评价系统的研究 分析，笔者发现，在主观评分系统中专家权重的大小 主要反映的并非专家权威的大小，而是专家评分的 习惯比如对于被评对象A与B，甲专家评分可能为 65和80，而乙专家评分可能为45和6O，但这并不 影响决策的结果在大型评价系统中，被评对象就有 很多，即使各专家都有相当高的评估水平，也难免出 现意见不同的情况若直接取均分，由于存在专家评 分高低不等的系统误差，使得决策结果误差较大因 此，确定专家权重的一个重要原则就是在不改变评 价对象在各评委心目中的地位的前提下，增加权重 后使得各专家的意见(或评分)尽可能接近，
17、以减小 评分系统误差及争议，再取均值本研究基于该原则 提出了确定专家权重的数量积法，通过论文型竞赛 排名试验，证明了该方法提高了主观评价系统的科 学性准确性，有较强的适应性 参考文献： 1 周宇峰，魏法杰一种综合评价中确定专家权重的方 法J工业工程，2006，9(5)：23_27 2刘进生，王庆云，张福伟列和求逆法的保序性及群体 权重计算J系统工程理论方法应用，1993，2(3)：6972 3 Ramanathan R，Ganesh L SGroup preference aggrega tion methods employed in AHP：An evaluation and an int
18、rinsic process for deriving members weightagesJEuropean Journal of Operational Research，1994，79(2)：249265 4 杨雷群体决策理论与应用群体决策中的个体偏 好集结方法研究M北京：经济科学出版社，2004：117 130 5 韩旭里，李松仁基于一致性均衡权指标的排序方法 J系统工程理论方法应用，1994，3(1)：4145 254 烟台大学学报(自然科学与工程版) 第28卷 6宋光兴，邹平多属性群决策中决策者权重的确定方 法J系统工程，2001，19(4)：85 7HisMei Hsu，Chen
19、Tung ChenAggregation of fuzzy op tions under group decision makingJFuzzy Sets and Systems， 1996，79(4)：278285 8 Eklund P，Rusinowska A，De swart HConsensus reac hing incommitteesJEuropean Journal of Operational Re search，2007，178(1)：185193 9 Klein JAssessing university studentsachievements by means of
20、standard score(Z score)and its effect on the learning climateJStudies in Educational Evaluation，2014，40：63- 68 10 丁文，杨卫东，刘继来基于神经网络技术的评卷误 差控制模型及其应用J浙江工业大学学报，2003，31(4)： 419423 11易昆南，梁霞，易芳残缺评分矩阵的论文排名J 铁道科学与工程学报，2008，5(3)：9396 12 易昆南残缺数据的论文名次及评委水平的评判与 逆判J湘潭大学自然科学学报，2005，27(2)：39_43 13 叶义成，柯丽华，黄德育系统综合评价
21、技术及其应 用M北京：冶金工业出版社，2006：29-45 14 j Forman E，Kiai PAggregating individual judgments and priorities with the analytic hierarchy processJEuropean Journal of Operational Research，1998，108(1)：165-169 15Herrera F，HerreraViedma E，Chiclana FMuhiperson decisionmaking based on muhiplicative preference relatio
22、ns JEuropean Journal of Operational Research，2001，129(2)： 372-385 1 16 Chiclana F，Herrera F，HerreraViedma EIntegrating three representation models in fuzzy multipurpose decision-mak- ing based on fuzzy preference relationsJFuzzy Sets and Sys tems，1998，97(1)：33-48 Dot Product Method for Determining E
23、xpertsWeights and Application in Ranking GUO Dongwei ，DING Genhong ，MAO Juncheng ，Chen Yulei (1College of Science，Hohai University，Nanjing 211100，China；2School of Mathematics and Physics，University of Science and Technology Beijing，Beijing 100083，China) Abstract：In the analysis of group decision mak
24、ing and incomplete subjective evaluation system，we find that taking the means ranking directly brings big error due to the difference of expertsscoring scalesAhhough the Tscore method can be used to unify them，it lacks the difference of expertsevaluation objectsIn order to reduce this sys tern error
25、，in this paper，we propose the Dot Product method for determining expertsweights and apply it to the theses type competition ranking systemCompared with the traditional and Tscore methods，this method improves the coincidence of the subjective and objective ranking，and reduces the disorder degreeBy calculating the Eu clidean distance，we prove that the new method can reduce the expertsscoring error and the controversy of theses Key words：subjective evaluation；Dot Product；weight；incomplete score matrix；system error (责任编辑 李春梅)
