1、摘摘要要科研立项评估一直是管理科学研究关注的重点问题之一，客观公正的科研立项评估能够保证科研工作的顺利进展，切实可行的科研立项评估能够保证科研资金得到有效利用。本文首先对科研项目立项评估的基础理论进行了阐述，包括科研立项评估中评价指标体系的作用、构建原则和方法以及指标权重的相关内容等；其次介绍了科研立项评估的常用方法并对这些方法的优缺点进行了具体分析；最后通过深入研究科研立项的评估方法，采用了基于同行评议和层次分析(AHP) 的模型、网络层次分析法(ANP)模型、误差反向传播算法(BP)模型以及 ANP-BP 模型等四种，并将以上模型应用在科研立项评估中。在大量数据的基础上结合立项评估的具体要
2、求，通过分析比较上述几种方法，证明了网络层次法(ANP) 和误差反向传播算法(BP)相结合的 ANP-BP 模型在科研立项评估中具有相对优势。该方法将定性分析和定量分析相结合，减少了人为因素的在决策过程中影响，在一定程度上提高了立项评估结果的科学性、准确性和客观性，是一种较理想的立项评估方法。关键词：网络层次分析法；误差反向传播算法；立项评估；决策IAbstractAbstractScientific choosing project assessment is always one of the most importantproblems in the management science
3、. Objective and fair scientific choosing projectassessment can make the research work go on wheels. Scientific research projectassessment that is feasibility can make full use of the governments fund.Firstly, it expatiates the basic theory about scientific choosing project assessment.The contents in
4、clude the function and the building principle, the methods and the targetweight of an index system for project. Secondly, this paper introduces some commonmethods of choosing project and analyses their merits and flaws. At last, this papermakes a deep research on it. There are the model based on the
5、 peer viewer and AHP,ANP model, BP model and ANP-BP model. These methods have been used to choosingprojects. By comparing these methods ANP-BP which is based on ANP and BP isproved useful and has many advantages in the scientific research project assessment.This method which adopts qualitative and q
6、uantitative analysis tries best to reduce theinfluence of man in the scientific research project assessment process and improveresult more scientific, more veracious and more objective. ANP-BP is more idealmethod.Keywords: ANP; BP; choosing project assessment; decision-makingII独创性声明本人郑重声明： 所呈交的学位论文，
7、是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含任何其他个人或集体已经发表或撰写过的研究成果，也不包含为获得河北工程大学或其他教育机构的学位或证书而使用过的材料。对本文的研究做出重要贡献的个人和集体，均已在论文中作了明确的说明并表示了谢意。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名： 签字日期： 年 月 日学位论文版权使用授权书本学位论文作者完全了解 河北工程大学 有关保留、使用学位论文的规定。特授权河北工程大学 可以将学位论文的全部或部分内容编入有关数据库进行检索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国
8、家有关部门或机构送交论文的复印件和电子文档。（保密的学位论文在解密后适用本授权说明）学位论文作者签名： 导师签名：签字日期： 年 月 日 签字日期： 年 月 日。科研管理是自然科学、社会科学以及工程技术 (或 “软科学 ”与 “硬第 1 章第 1 章绪 论绪 论近年来，国家在科技方面的资金投入逐年增加，如何加强项目的管理显得日益重要，科研评估理所当然就处于举足轻重的地位，科研立项评估的重要性更是不言而喻。一些专家学者对决策科学化的重视程度也与日俱增，对科研立项评估决策提出了更高的要求。如何选择较科学的评估方法来辅助决策，如何提高决策的准确性、科学性，已成为研究的重点。1.1 科研立项评估的研究
9、背景由于科学技术的迅猛发展及其对以经济为核心的综合国力产生重大影响，世界各国都在努力发展基础科学、应用科学技术。各国综合国力的竞争主要表现为科学技术的竞争，人才和经济实力在竞争中起着决定性的作用。分析评价科学技术发展的状况和趋势、开展科技优先领域选择、合理配置科技资源、评估科研成果、研究提高科研效率的方法和途径已经成为各国政府、科研工作者普遍关注的热点问题 1 3科学”)交叉渗透所形成的综合性学科 4。而管理就是通过决策、计划、组织、领导、激励和控制等一系列职能活动，合理配置和优化运用各种资源，以达到既定的目标。科研管理部门的工作就是运用现代管理和决策手段，遵循科技自身发展规律和特点，通过一系
10、列职能活动，合理配置和优化运用科研资源，以求在有限的时间和空间上达到最合理、最有效的科研目标。近些年来，科研项目评估作为“快速增长的产业” 初见端倪。决策管理人员要用经济杠杆和评估手段促使资金分配、科研方向调整、研究机构改革和研究水平向更科学的方向发展，因此，评估方法是政府科学管理的重要手段5。尽管国家财政对科学研究投入的基金稳步增长，但是我国科研基础设施较差，科研积累较少；加之国家对科研的投入十分有限，总量与需求的矛盾仍很突出，所以要进一步提高基金的使用效率，增强项目研究人员和各级管理部门的责任感，促使基金重点项目多出高水平成果，多出优秀人才，使有限的资金发挥更大的效益。同时，通过评估发现具
11、有发展前景的学科新的生长点和新的研究领域，为决策系统调整学科布局提供科学依据和建议，使之更加适合我国国情和社会经济发展的需要。科研项目的评估分为立项评估、过程评估和验收评估三个管理阶段，针对不同阶段，项目评估体系的侧重会有所不同，其中立项评估是项目实施前的评估，第 1 章 绪 论这是最关键一环。科研立项评估是一项科研活动的起点，也是科研管理的龙头6。从科学研究系统来看，所谓的立项就是将观察对象纳入研究范围，而项目的完成与否、水平的高低，更多的是与研究方法和技术手段有关。由此可见，科研立项是进行科学研究的先决条件，也是决定科学研究起点高低的重要因素。正因为如此，才有“立项成功了，项目就完成了一半
12、”的说法。因此，抓好立项的申报工作对科管部门来说尤为重要。科研基金的成效主要依赖于项目的遴选立项，因此，立项评估也就成为关注的焦点。由于科研项目往往具有超前性、探索性、隐含性和不可预知性，对其进行合理的评估较之应用研究或试验开发项目的评估要复杂困难得多。在以往的工作实践中，科研立项工作带有不少主观的成分，其结果是直接造成了许多低水平的重复研究，因此，对这一问题的探讨也就更有意义。1.2 国内外科研评估研究现状分析1.2.1 国外研究现状科研评估最早起始于 20 世纪 20 年代的美国。20 世纪初，美国成立国会服务部(CRS)，直接针对各委员会及议员们提出的各类问题进行研究、分析和评估。其中与
13、科技有关的研究、分析和评估即可认为是科技评估的雏形。CRS 完善的评估机制以及丰富的评估形式和内容，最终影响了许多国家。法国、德国、加拿大、日本、丹麦的研究开始于上个世纪 40 年代至 60 年代；瑞士、瑞典、英国、澳大利亚、韩国的研究开始于上世纪 80 年代；西班牙、新西兰、泰国的研究开始于上世纪 90 年代。基本效仿美国开展科技评估活动的国家有：瑞典、德国、丹麦、荷兰、澳大利亚；部分借鉴美国科技评估的国家有瑞士、匈牙利、墨西哥、俄罗斯等。下面介绍各国科研评估的发展及现状7,8。(1) 美国美国是科技评估活动制度化最早的国家之一。开始美国成立了国会服务部，进行与科技有关的研究、分析和评估工作
14、，这是科技评估制度的雏形，然而科技评估工作在美国真正大范围的展开是在第二次世界大战以后。随着科学发展的复杂化，科学研究活动的规模日益庞大，越来越需要有效地协调管理。科研活动本身已成为一项系统工程、一个产业，甚至是一门经济。因此，需要对科研活动引入有效的管理机制，使之能顺利、高效地运行。在这种背景下，科研评估作为科学管理的一项重要内容和手段，在美国成为制度化、经常性的工作，并建立科技评估支持系统。1993 年，美国第 103 届国会颁布了“政府绩效与结果法案”( GPRA)，第 1 章 绪 论制定该法案主要是为了提高国民对联邦政府能力的信任；通过计划的目标设定、绩效评估、公开通报来促进提高联邦政
15、府的工作绩效；通过强调研究结果、服务质量和用户满意度等方面，提高联邦政府的工作效率和政府官员责任心；通过反馈计划目标的实现情况及有关的项目成果和服务质量信息，帮助联邦管理者改善服务水平；通过提供有关计划取得的成绩、联邦计划的效率和资金等信息，改进国会的决策，改善联邦政府的内部管理。GPRA 主要包括三个内容，即战略(框架)计划、计划目标设定和年度绩效评估。美国国家科学基金会组织了相关问题的研究。从 1996 年，政府的各主要部门都依照 GPRA 法案。按照美国审计总署的要求，明确地设定战略计划、任务目标和年度绩效评估计划书。美国海军研究办公室的Kostoff 对研究效果的评价(RIA)做了系统
16、的研究。将 RIA 分为三种情况：研究选择(研究工作还未开始) 、研究评述(研究工作还在进行中)、后期研究评价(研究工作已经完成)。评价的方法主要有：回溯方法，定量方法(成本效益分析和文献计量学方法)、定性方法( 专家评议法)。(2) 英国1977 年，英国苏克塞斯大学科技政策研究所(SPRU)，对政府资助的 6 个研究机构的科研活动进行了评估。1989 年，国会下属的科技评估办公室出版了研究与发展评估客户和研究与发展管理人员指南。1993 年，组建的科技办公室在科技政策白皮书中对政府科技投入的使用、管理、分配作了评述。英国对科学研究的评价有多种方式，主要分为客观和主观两种方式。主观评价是由同
17、行评议专家组对研究产出的质量评价；客观评价是通过考查引文数据来评价科技论文的质量。英国政府资助的基础研究评估一般采用多种指标，即：科学活动的规模、人员培养；出版物及其质量、重要性和影响；文献引用；同行评议；其他指标，如：获得奖励等。评估指标较为具体，但对专利等内容并未提及。(3) 德国对科学研究计划和政策的评估开始于 20 世纪 70 年代末，通常是由政策管理机构指导下的外部独立评价机构进行。1992 年至 1993 年，德国的前科技部实施了“原评价计划 ”，对 1985 年以来资助的 50 个科技项目进行评价和分析对比；并以此作为改进科技项目管理的依据。目前德国实行评价的方式有三种，即：回溯
18、评价(事后 )、过程监督和展望分析(事前) 。(4) 法国1989 年 5 月至 1990 年 3 月，法国先后成立了国家科研评价委员会、总理府技术风险预防评议团，建立了比较完整的评价体系。法国主要开展了对科研人员、政府科研发展政策、科研机构、计划和科研措施的评价工作。从评价指标上看，第 1 章 绪 论采取宏观指标和微观指标相结合的办法，用资源指标、战略指标(科研方向、计划)和竞争力指标(工业技术竞争力)来评价科研管理；用投入指标、产出指标、关系指标(科研合作、人员流动)和效益指标(对社会产生的影响)来评价科研水平；对评价的对象，从经济、社会和文化三方面来审视其实施的绩效，并在欧洲和国际范围内
19、评价科研结果的意义。法国的评价体系较为完整，但涉及项目评估内容较少。(5) 日本1995 年 11 月，日本颁布了科学技术基本法。1996 年 7 月，制定了科学技术基本计划。1997 年 8 月，日本科学技术会议审议通过了国家研究开发评价实施办法大纲，该方法提出了建立开放型研究所评价体制的基本框架。按评价时间划分，科技评价分为预先评价、中间评价和后果(跟踪)评价三个阶段。按评价对象划分，科技评价分为三类，即对研究开发课题的评价、对研究开发机构的评价、对研究开发人员的评价。对不同的评价对象和评价内容，按研究的目的、任务、性质、方式、规模和时间进行分类，采用不同的评价标准和评价实施方法。1998
20、 年 7 月，日本批准了政府研究与发展评价方法指针，对开展评价的目的、范围、评价的基本观点、一般原则、注意事项等都作了必要的说明。各个政府部门在“指针”的框架范围内开展了政府研究与发展的评价工作如科技厅总结了各产收部门和机构的工作。1999 年初，出版了国家研究与发展评价报告。日本对基础性研究成果的评价依据是著作和学术论文的数量、质量、创新、引用率、研究的指导能力等。评价指标有论文发表数和引用次数、著作出版、学术论著、辞书、教科书、计算机程序、科研经费支持额度和次数、合作研究项目数、被表彰和学术的评价、讲演(被邀)次数、主办和参加各类会议情况、人才培养与交流情况、研究创造和指导能力、研究集体的
21、评价、青年研究学者的评价、为技术开发提供理论依据的情况。(6) 芬兰20 世纪 60 年代后期以前，芬兰一直实行的是学术自我评价方法。70 年代早期，新成立的芬兰科学院实行了优先领域计划的科学政策，评估出现了新的因素。到了 80 年代，芬兰科学院开始了新的学科评估，强化基础科学的地位，支持了技术创新政策。1985 年，芬兰参加了尤里卡计划。从此，芬兰的科技政策向国际化迈出了重要的一步。90 年代早期的“评估的兴起”，由于经济的大衰退、研究与发展经费的削减、政府面向市场的竞争政策，使科研评估渐渐成为一种资源分配和再分配的法律工具。芬兰开展的科技评价工作由芬兰科学院的学科领域负责。到目前为止，已经
22、评价了 18 个学科。评价主要依靠传统的同行评议方法。第 1 章 绪 论(7) 瑞典自然科学研究理事(NSR )是瑞典一个政府机构，它主要为瑞典的自然科学研究提供资金支持，它邀请瑞典科学、学术系统以外的专家参与评估工作，被邀请的专家不仅在其各自的学术领域内很有名望，而且在国际事务中扮演着重要角色，他们经常担任国际科学顾问，或联合国咨询员，或国际期刊主编等，因此 NSR 的评估结果具有权威性。瑞典还比较强调对整个学科领域的评价，如化学、生物学、数学、地球科学等，于 1995 年已经完成并出版评审议报告。这些学科审议的目的在于不仅要求认清该学科在瑞典(甚至在整个社会范围)的作用与地位，而且要求发现
23、各种细小的问题，还要向政府等管理机构提出建议。1.2.2 国内研究现状1995 年，国家科学技术部和加拿大国际发展研究中心联合组织了一次关于中国科技改革的回顾评估，以总结过去 10 年的经验并同意采用经济合作和发展组织评述各工业化国家科技政策的方法进行评估，评估重点是 1985 年发起的科技政策改革，选定的优先领域是基础研究、高技术产业、国有企业、农业研究和农村发展、环境和社会发展。1984 年，国家计委率先对大学和科学院系统的部分国家重点实验室进行了评估与资助改革。现在这类实验室的数量已增至 150 多个，实验室已获得数百万美元的建设费。另外，根据评估情况，各实验室还能得到不同程度的仪器设备
24、费和实验室运行补助费。凡验收合格，且对外开放两年以上的国家重点实验室，都应参加每 4 年一次的定期评估。评估工作实行定性评估和定量统计数据相结合，以定性评估为主；学术专家与管理专家相结合，以学术专家为主。评估工作除报道有关书面材料外，专家组还进行实地考察，了解和听取有关情况和建议。评估的主要内容包括实验室研究工作的方向和意义，承担科研任务，完成情况及成果水平，队伍建设和人才培养，开放程度，管理水平等。中国作为一个以经济发展为中心、迫切追求经济进步、而科学发展水平与发达国家又有较大差距、经济和科技资源都有限的国家，科学研究的评估对经济发展和技术进步都有着重要的意义。我国对科研计划、项目的评估工作
25、起步较晚，尚处在探索阶段。直到科技体制改革后才逐步得到重视，90 年代以来，科技项目的评估被普遍关注。近年我国开展的评估探索有：国家科技攻关计划的评估、国家“863” 计划的十年评估、中国科学院“八五 ”重大项目评估等。所使用的评估方法基本上与国外相似，只是指标体系、评估程度、规范性、独立性等方面有着明显的差距。我国尚未建立一套比较完善、科学界普遍认可的评价指标体系，也未形成一套严格的科研评估制第 1 章 绪 论度，与发达国家相比还存在相当大的差距。因此，有必要对其他国家科研的评估方法进行研究总结，并加以借鉴。与国外相比，我国科研项目的评估有其自身的规律和特点，所以在选择评估方法时需注意以下几
26、点：(1) 评估时要根据评估的具体内容选择相应的评估方法。科研项目评估就是确定被评估对象在所在系统中的地位，这种地位通过比较得到，由于比较的基准不同，评估的内容和方法也就不同，获得的评估信息具有的可能性和可靠性也不同；(2) 评估主观性较强。评估是对事物价值的评估，不可避免地要受到人为因素的影响，要因人、因时、因环境而异，评估中的差异性是无法排除的，只能尽量减小。在研究设计评估方法时，尽量选择具有减弱或消除主观因素成分功能的方法，使评估更加科学、公正和公平；(3) 认识是评估的前提和基础。认识的对象要大于评估的对象，要提高评估方法的合理性和准确性，就要全面、客观地认识系统和环境。对事物的认识不
27、准确，就难以做出合理的选择；(4) 评估系统要保持其地位必须具备动态调节的功能。这就要求所选择的评估方法必须具有良好的动态性能，使系统结构合理，具有继承性，还要具有开放性。1.3 课题研究的理论基础本课题所采用方法的基础理论已经相对成熟，西安理工大学工商管理学院的张道宏教授提出了基于 BP 算法的神经网络构建个人信用评估模型 9，避免了信用评估中的主观因素，确定了量化输入、量化输出的客观模型；通过 AHP 方法简化了神经网络的结构及优化了权值，使模型更加精简有效；通过神经网络的自学习功能不断学习、不断接受新事物，保持了模型的时效性，使模型的应用更加广泛。四川大学工商管理学院的李晓峰博士在基于
28、AHP 的人工神经网络模型的建立的基础上针对神经网络的结构特性10，提出将层次分析法(AHP)与 BP 神经网络相结合的思想，即利用层次分析法筛选对因变量最有影响的因素(自变量)，来决定BP 神经网络的输入变量的个数，并在此基础上建立了 AHP 与 BP 相结合的网络模型，然后又设计了相应的算法，该模型不仅解决了输入待定的神经网络输入维数难确定的问题，而且加快了网络的收敛速度，增强了网络的适应能力，并将新建立的模型应用到经济预测中得出了比常规经济学模型更优的效果。兰州大学信息科学与工程学院的许福永教授在基于 AHP 和 ANN 的网络安全第 1 章 绪 论综合评价方法研究中采用 AHP，对影响
29、网络安全的各种因素进行了深入研究，确立了网络安全综合评价指标体系，提出了人工神经网络(ANN)安全评价模型，为全面评价计算机网络安全状况提出了新的思路和方法11。天津大学管理学院的赵国杰教授在 ANP 法评价区域科技实力的理论与实例分析中，在对国内外现有区域科技实力评价理论与方法进行梳理的基础上，引入新的工具(网络层次分析法) 来确定评价指标权重，并给予理论说明和实例分析，对区域科技实力评价方法进行了有益的探索12。孙宏才详细分析了 ANP 与科学决策，并将其与 AHP 方法进行了比较，给出了用 ANP 进行决策的基本步骤和超矩阵排序方法13。王莲芬则详细介绍和讨论了ANP 的理论与模型，并对
30、反馈结构的几种典型超矩阵及其极限排序向量进行分析，最后针对循环系统提出了极限相对排序向量的简单可行的方法14,15。本文主要研究 ANP 方法在科研立项评估中的应用，并且把 BP 应用在评估中。采用该评估方法后，不仅减少了人为因素在科研立项评估过程中的影响，而且也能够使评估指标体系和权重更科学，为科技项目立项评估的决策提供更加可信的依据。科研评估会形成一个更加完善的评价体系，逐步走向正规化、科学化。这种方法不仅能够在科技评估中应用，在其它领域中应用前景也是非常广阔的，如投资项目评估，企业价值评估等。1.4 研究意义本文主要是通过比较几种改进评估算法在立项评估中的具体应用，提出了一种 ANP 结
31、合 BP 进行科研评估的 ANP-BP 算法，力图构建一个较科学、公正的评估模型，以减小目前评估方法存在的主观因素影响。具体内容如下：(1) 对现有的科研评估现状进行分析，并对科研评估相关概念进行了重点介绍；(2) 详细列举了目前常用的评估方法的特点，着重阐述了这些方法在应用过程中存在的具体问题；(3) ANP 和 BP 理论为评估模型提供了新的思路，提出两种算法的结合算法ANP-BP 评估算法。从理论上阐明了该方法在立项评估中应用的可行性，构建基于ANP-BP 评估应用模型，建立了在立项评估中的具体实现步骤。仿真结果进一步论述了将该算法应用于应用于科研立项评估中的理论价值和实际意义，为立项评
32、估方法的研究提供了新的思路。1.5 内容安排第 1 章 绪 论本文后续内容组织安排如下：第 2 章介绍了本课题研究的立项评估方法中的一些基础概念、内容，建立指标体系和计算权重的原则和常用方法；第 3 章详细介绍了用于立项评估的常用方法以及每种方法的优势和缺陷；第 4 章提出了数种改进的立项评估方法，并通过实例计算比较提出了 ANP-BP这种效果较好的评估方法；第 5 章对本文研究进行了总结，并指出了后续研究方向。1.6 本章小结本章主要介绍了课题的研究背景、主要研究内容、存在的问题及研究意义，最后说明了本文的内容安排。第 2 章 科研立项评估的理论基础第 2 章 科研立项评估的理论基础2.1
33、专家在科研立项评估中的作用大量事实证明，在评估涉及的学科领域中选择有高知名度和多年评审经验的专家进行评估可提高评估的正确性。由于专家队伍中专家之间的权威系数存在差别，所以应选择有实力的优秀专家来提高专家队伍的整体评估水平。无论是建立指标体系还是选择评价方法，专家在科研项目评估中的作用是不可替代的，评估结果的科学性、准确性和正确性在一定程度上依赖于专家在评估中能力的发挥。图2-1是国家自然科学基金(National Natural Science Foundation of China，NSFC)面上项目评审示意图，从图中可以明显看到专家在整个评估过程中的作用是勿庸置疑的，专家的水平会影响项目评
34、估的结果。管理者 评审专家 管理者 评审专家 管理者申请受理科技部初审同行评议评审意见学科综合学科组评审教务会批准100% 85% 35% 15% 20%图2-1 NSFC面上项目评审程序Fig.2-1 NSFC evaluation procedure of general projecets图中中排箭号表示评审步骤，上排箭号表示管理者和评审专家在评审过程中交替发挥作用，下排箭号表示进入下一评审步骤的项目约占全部申请项目的比例。由2004年度林学学科同行评议专家反评估结果见表2-1中同样能够明显看出，专家综合评价指数在前15位专家同意资助项目受资助率明显低于后15位专家，而不同意资助项目受资
35、助率相反，说明专家综合评价指数的排序反映了专家的评议质量，而且从表中能够更进一步看出有些项目本来应该优先获得资助反而没有获得资助，不够资助的项目反而得到了资助，表明个别专家在项目立项评估方面的能力还是有一定问题的。9表 2-1 2004 年度林学学科同行评议专家反评估结果Table 2-1 Peer View Experts Back Result in 2004 about Forest ScienceSi 值前 15 位 Si 值后 15 位专家编号Si同意资助率%优先资助项目受资助率%建议资助项目受资助率%建议不资助项目受资助率%专家编号Si同意资助率%优先资助项目受资助率%建议资助项目
36、受资助率%建议不资助项目受资助率%F1F2F3F4F5F6F7F8F9F10F11F12F13F14F151.07460.94990.94210.91000.89620.88910.87870.86180.83940.83320.81700.81310.81090.80570.802987.5022.2230.0042.8644.4466.67100.0045.4527.2788.8969.2316.6766.6777.7845.0027.270.000.000.000.000.00100.000.0075.0033.3350.0033.3328.570.000.000.0037.5030.0
37、050.000.000.0037.5022.220.0042.8633.330.0042.8614.2925.0010.000.0016.6725.000.0025.006.670.000.0018.18L1L2L3L4L5L6L7L8L9L10L11L12L13L14L150.63830.63250.62880.61510.59570.58900.58850.58530.58200.56720.55780.55750.54870.54810.513142.8647.0658.8266.6760.0029.4170.0028.5764.7161.1135.7123.0860.0040.0038
38、.46100.0066.6750.000.0075.00100.00100.0050.0066.6737.5020.0062.5050.0040.0028.5750.0045.4536.3640.0033.3366.6737.5020.000.000.000.000.000.008.330.0010.000.000.000.000.000.000.000.00第 2 章 科研立项评估的理论基础2.2 评估指标体系的确立2.2.1 建立评估指标体系的意义为了适应社会主义市场经济体制和政府职能的转变，同时也为了推进管理与决策的科学化和规范化，近年来我国政府部门在科技管理中逐步引入了专业评估机构对科
39、技计划项目进行独立、客观、公正的评估。科研研究的管理与评估是一项难度较大的工作，要求有先进的管理方法与评估手段与之相适应。评价体系及方法的科学性、合理性将直接影响到项目筛选工作的质量。构建全面、完整、准确的指标体系是立项评估工作中的重点。指标是描述评议对象所处状态和特征的科学语言，在评价不同的项目方案时，通常用一组比较准确、可靠、简洁的指标来反映项目管理活动某一方面的状况16。所谓指标体系，则是指由单项评价指标组成的有机整体，它所反映的是项目管理活动的综合状况和整体情况，为此必须建立一种科学的评价指标体系。指标体系是科技评估方法中的重要内容，科学而适用的评估指标体系是作好评估工作的基10 第
40、2 章 科研立项评估的理论基础础。在科技项目立项评估中，评价指标是一个多维体系，人们常常采用层次化的指标结构，如图2-2所示。任何事物都是质和量的统一体，单从一个方面评价事物，无法准确地反映其全貌；科研项目的科学研究价值，也有质和量两个方面，所以应从定性和定量两个方面结合起来进行综合评价。从质上评价，考察科技项目有无充分的事实依据和理论基础、逻辑上是否通顺、目标是否有创新等，这是一种定性评价；量上是指可考察科技项目的社会效应、经济效益、同行反映、引用情况等。只有将定性评价与定量评价相结合，才能克服评价过程中的主观性、片面性，才能准确评价项目的研究价值。因此，建立完善的评价体系，选择简便、有效的
41、评价方法就显得非常重要，分析影响目标的要素、构建合理的评价指标体系是评估中最重要的一环。科学的评价指标体系要具体明确简要，既能反映成果的水平、质量、效益，又便于操作和进行数据处理；要能综合评价科研的过程、科研的成果、成果的效益，且过程评价、成果评价、效益评价所占权重适当。科学的评价指标体系是科研成果评价科学、客观的基础保证1719。第一级指标A第二第二第二第二级指标a1级指标a2级指标a3 级指标ai第三第三第三第三第三第三级指 级指级指 级指 级指 级指标a 11标a 1n标a 21标a 2m标a i1标a ij第f第f级指标图2-2 科技项目评价指标框架Fig.2-2 Index fram
42、e of scientific project evaluation11级指标第 2 章 科研立项评估的理论基础2.2.2 指标体系的构建原则科学学创始人、英国科学家J.D.贝尔纳指出：“课题的形成和选择，无论作为外部的经济技术要求，抑或作为科学本身的要求，都是研究工作中最为复杂的一个阶段。一般来说，提出课题比解决课题更困难，所以评价和选择课题便成了研究的战略起点” 。选择指标体系是项目评价与选择的核心，它直接影响项目评审的质量与精度，要构建科学、合理、行之有效的科研评价指标体系必须遵循下列原则20-23：(1) 完备性原则完备性原则是指指标体系对评价对象属性的覆盖广度及刻划深度。指标体系的设
43、立应力求围绕评估的目的，全面、科学、准确地反映评估对象的各个方面，尽量根据科技项目的特点，进行全面考察，既看它的创造性，也要考虑它的科学性；既看重创见性，也重视可行性。避免以偏概全，不能遗漏重要方面或有所偏颇。否则，评估结果就不能真实、全面地反映被评对象。(2) 科学性原则科学性原则包括信度和效度两个方面。信度指评价结果的可靠性或一致性，即同样一个项目由不同专家在不同场合和时间进行评价所得到结果的一致程度；效度是指该指标体系对项目进行评价的准确性程度，即指标含义须具有单一性特征，指标的定义无兼并、交叉和重复。制定指标体系应遵循科学研究活动的规律，体现出各类科学研究活动的不同特点，只有建立在科学
44、性的基础上，科研评估的公平性才能得到保障。(3) 目的性原则目的性原则是指标体系设计的出发点和根本点，衡量指标体系是否合理有效的一个重要标准是看它是否满足了评估目的。指标体系应为评估活动的目的服务，针对评估任务的需求而定。(4) 非相容性原则非相容性原则是指指标体系的设立应尽可能排除指标间的相容性，排除相容性并不等同于排除相关性，而是同类指标间相关性越大越好，不同类指标间相关性越小越好。(6) 客观性原则客观性原则是指指标体系应是对评价对象的本质特征、结构及其构成要素的客观描述，项目评价的指标体系所涉及的事物属性应能全面、真实地反映事物的本质和评价目标。(7) 可比性原则12第 2 章 科研立
45、项评估的理论基础可比性原则是指在满足评估目的的前提下，应尽可能采用相对成熟和公认的指标，与国内外的工作相衔接，以便于评估结果的比较和应用。(8) 简捷易操作原则简捷易操作原则是指在评估过程和评估结果的使用中往往涉及多方面的人员，如评估者、咨询专家、管理者、决策者和公众。指标应易于理解，以保证评估判定及其结果交流的准确性和高效性。指标体系力求计算公式简捷明了，可操作性强。(9) 稳定性与前瞻性原则稳定性是指应具有连续性，剔除那些时有时无的指标；前瞻性是指一定时期内并不重要，随着社会、经济和科学等领域的发展而逐渐变得重要的指标。在评估过程中还要注意处理好客观性与科学性原则的关系，如有些指标较难找到
46、可量化的客观参照标准，如果片面追求客观性，则容易出现计算量化部分操作较难实施的情况，违背科学性原则造成偏差。此外，还应充分搜集评估对象的外围信息，这有助于全面了解评估对象的环境，并作为评价指标设计时的参考。2.2.3 如何确立评价指标体系如何选定指标是整个评价问题的核心24，它的成功与否决定着评价系统的成败。评价指标体系的变量设置不宜过多，否则就使评价与计算的工作量变大，同时也要保证对结果有重要影响的因素没有遗漏。建立指标体系主要是确定指标的选取及指标之间的结构关系。对于项目管理中的评价体系，既要求对理论(包括所涉及的专业领域知识、系统评价理论等)有深邃的把握，也要求具有丰富的经验。指标体系的
47、构造过程可分为两个阶段，即指标选取过程和指标完善过程两个过程25。下文将对此进行详细介绍。2.2.3.1 指标选取指标体系是根据各项指标的涵义及指标间的内在联系，按照一定的层次构成一个有机整体。它包含所要评估对象的全部评估内容，是评估工作的依据。评估结果的公正、准确与否在很大程度上取决于评估指标体系。指标的选取要遵循指标确立的全面性、科学性、客观性、可比性和简便可行性原则，可采用分层的方法确立指标。先将项目按整体划分为几个大的层面26,27，然后再逐个分析每一个层面，对每一个层面进行进一步的划分，进而得到整个项目的指标体系。先划分的指标处于较高的层次，每对指标进行一次划分，则整个指标体系就增加
48、一级。指标所处的层次越高，该指标越抽象、概括；指标所处的层次越低，指标越具体、13 集中度 EiEi Ei ni j式中， Ei 表示专家对第 i 个指标的意见集中程度，值的大小反映了指标的j1 nij (Ei Ei ) 2上式中 i 越小，说明专家意见越集中， Ei 越大，说明专家认为该指标越重要，下，就可以用 Vi 判别， Ei 越大， i 越小，则 Vi 越小，该指标越重要。第 2 章 科研立项评估的理论基础明确。指标越多越有利于反映影响项目，但是，随着指标个数的增加，计算量也会加大，给评估工作带来一定的困难。因此，要适当的选取指标，使指标既能反映出项目的特性，又便于计算处理。2.2.3
49、.2 指标完善检验初步确定指标后，要对指标及指标体系分别进行单体验证和整体验证。单体验证是验证每个指标的可行性和正确性，分析该指标的数据是否可以获得，那些无法或很难取得准确资料的指标，即使能得到但由于成本很高，都是不可行的。正确性是指保证指标的计算方法、计算范围及计算内容准确，整体验证主要是检验整个指标体系的指标的重要性、完整性28。(1) 重要性检验重要性是指保留重要指标，剔除无关紧要的指标。可利用德尔菲(Delphi)法对指标体系进行匿名评议，如设指标体系某层次有M个指标，请P 位专家评议。对评价意见可以做如下三方面的统计分析： 1 5P j1(2-1)重要程度，反映了P 位专家的评价期望值；Ei 表示指标 i 第 j 级重要程度的评分 (一般将重要度分为 5级，j =1，2 ，3， 4，5，分别代表指标重要性程度：极重要、很重要、重要、一般、不重要)；ni j 表示把第 i 个指标评为第 j 级重要程度的专家人数。 离散度 i i 1P15(2-2)上式中 i 表示专家对第 i 个指标重要程度评价的分散程度，是衡量重要性
