1、1,人文社会科学论文质量 评估指标体系与实施方案,中国人民大学 人文社会科学学术成果评价研究中心 2011-8,2,主要内容,1 评估的理论基础与前提,3 指标体系的基本构成,4 指标体系的操作实施,5 指标体系的应用与结果,2 指标体系的设计思路,3,1.1 人文社科成果质量可评、可测吗？,人文社科成果具有研究范式多样、真理性与价值性显现慢、成果转化过程模糊、大量运用思辨方法等特征。能否对人文社科成果质量进行较为准确地评估和测量？,人文社会科学研究遵循科研规律和学术规范，必然存在可评估其成果的科学方法,经验表明， 虽然难以实现 “精确评估” ，但可较为准确地大致判断出人文社科成果的“质量等级
2、”,虽然现有人文社科成果评价存在的种种问题，但可通过深入研究和探索得到有效解决,人文社科成果 是可评、可测的,4,“完美的”评估指标体系是不切实际的“空中楼阁”， 必须在 “理想完美性”与“现实可行性”之间做出优化选择。,1.2 人文社科论文质量评估需要什么样的指标体系？,指标设置科学 权重分配合理 实施程序公正 操作便捷可行 ,完备性与可行性的矛盾 及时性与延迟性的矛盾 精细化与高效率的矛盾 评估标准、手段、方法、路径等方面的分歧 ,理想的指标体系,现实的矛盾与困难,5,1.3 各类人文社科论文评估指标优劣势,i卜卫，周海宏，刘晓红社会科学成果价值评估M社会科学文献出版社1999 ii 唐德
3、章，夏元林社会科学研究成果定量评估方法初探J社会科学研究，1989（1）：78-87 iii 沙似鹏，郑礼，郭才伯，张毅人文社会科学研究成果评价指标体系初探J上海高教研究1994（1）：74-78 iv 叶蓬人文社会科学研究成果评估指标体系分析J探求2001(1): P60-67,在坚持人文社科论文 “有必要评估” 、“可以评估” 的基础上，我们将平衡“理想完美性” 与 “现实可行性” 之间的矛盾，并针对现有指标体系的优势和劣势，完善 “人文社科论文质量评估指标体系”，改进指标体系实施策略。,6,主要内容,1 评估的理论基础与前提,3 指标体系的基本构成,4 指标体系的操作实施,5 指标体系的
4、应用与结果,2 指标体系的设计思路,7,2.1 指标体系的设计宗旨与目标,汲取已有人文社会科学评估的理论成果精华和实践经验，立足当前实际应用，以“科学、谨慎、探索、实用”为原则，创新评估的理论方法，完善评估的指标体系，推动我国人文社会科学科研成果评估向科学化、规范化、应用化发展，促进学术研究的良性发展和科研管理水平的持续提升，推动我国人文社会科学事业的大繁荣、大发展。,（1）设计宗旨,构建一套相对科学可行的“人文社会科学学术论文质量评估指标体系”。,针对当前评价现状与需求，考虑评估涉及的复杂因素变量，对现有指标体系进行剖析、改造、完善和创新。 把“人文社会科学论文”作为直接的评估对象； 以“同
5、行评议为主、文献计量为补充”； 通过较为科学可行的分类评估、 同类比较， 实现对论文质量较为准确地评估和测量。,（2）设计目标,8,2.2 指标体系的设计理念与原则,（1）设计理念,（2）设计原则,9,2.3 指标体系的相关要素,评估方法：同行评议为主，文献计量为补充,评估标准：以“真理标准”为主导，兼顾“社会价值标准”,论文分类：区分差异、分类评估、同类比较,评估实施：根据数据获取的时间差异，灵活组合评估指标,评估 要素,评估对象：研究论文和综述文章的“内容质量”而非 “形式载体”,1,2,3,4,5,研究论文：是指研究者在探讨人文社会科学某一学科对象过程中形成的、记录并阐述研究的创新见解和
6、知识、并按照特定范式撰写的书面文件，可用于学术会议上宣读、交流、讨论或在学术刊物上发表。 综述文章：是指对人文社会科学某学科领域或专题在某段时期的研究状况进行系统地查阅、整理、总结和分析，并做出综合性描述或评议的文章。,10,指标遴选,指标 体系 论证,最终 指标 体系,问卷调查,专家论证,实证检验,论文质量 同行评议 指标体系,文献调研,（1）同行评议指标体系设计方法,2.4 指标体系的设计方法,（2）文献计量指标体系设计方法,（3）指标遴选原则,11,主要内容,1 评估的理论基础与前提,3 指标体系的基本构成,4 指标体系的操作实施,5 指标体系的应用与结果,2 指标体系的设计思路,12,
7、指标体系的总体结构,同行评议指标体系 （主体）,文献计量指标体系 （补充）,人文社科学术论文质量评估指标体系,主要指标,辅助指标,学术创新程度,论证完备程度,社会价值,难易程度,课题立项,发表载体,Web 下 载 频 次,被他引频次,被转载次数,3 指标体系的基本构成,13,3.1 同行评议指标体系,3.1.1 主要指标（4个）,14,3.1 同行评议指标体系,15,3.1 同行评议指标体系,16,3.1.2 辅助指标（2个）,3.1 同行评议指标体系,17,为什么选择辅助指标？横向和商业项目的“课题立项”的级别判定规则？“发表载体”的级别判断规则：以下评估体系的“并集” 北京大学核心期刊要目
8、总览（2008） 南京大学CSSCI来源期刊（2010-2011） 中国社科院中国人文社会科学核心期刊要览（2008） 复印报刊资料重要转载来源期刊（2009）,3.1.3 同行评议指标设置的补充说明,3.1 同行评议指标体系,18,3.1.4 同行评议指标体系的权重分配,综述文章的 权重分配方案,学科A 权重 分配方案,学科B 权重 分配方案,学科C 权重 分配方案,研究论文,人文社会科学论文,3.1 同行评议指标体系,19,具体来讲，同行评议指标体系的权重分配方案包括如下三条：,（1）同行评议主要指标与辅助指标的权重分配 （适用于所有论文）,3.1 同行评议指标体系,20,（2）“综述文章
9、”指标的权重分配,3.1 同行评议指标体系,21,（3）各学科研究论文的指标权重分配,3.1 同行评议指标体系,注：以上为22个一级学科权重分配示例；指标权重根据问卷调查得出，评估后由系统自动计算。,数字表示百分比%,22,3.2 文献计量指标体系,3.2.1 文献计量指标设置（3个）,“四大文摘”中，4次转载评分为1，3次转载评分为0.8，2次转载评分为0.6，1次转载评分为0.4，0次转载评分为0,施引论文的“所有作者”与被引论文的“所有作者”完全不重叠时算作“他引”。 指 3年（及以上） “被他引”的总频次。,23,3.2.2 文献计量指标权重分配,注： 上述前两项指标数据累计时间低于1
10、年、第三项指标低于3年，则说服力不足。 若某一文献计量指标的数据无法获取，则该项指标的权重将按上表所示比例，分配到其它两个指标中。,3.2 文献计量指标体系,24,3.3 指标体系的主要特色,以学术论文为直接评估对象,坚持同行评议的主体地位,指标通用、分类设置权重、分步评估,25,主要内容,1 评估的理论基础与前提,3 指标体系的基本构成,4 指标体系的操作实施,5 指标体系的应用与结果,2 指标体系的设计思路,26,4.1 同行评议的组织实施,终评评分,优劣分级复评评分,鉴别论文学术性学术论文分类,初评组,复评组,终评组,相当于 圈选的工作,相当于 编辑的工作,相当于 顾问的工作,4.1.1
11、 评估主体及分工,在复印报 刊资料中：,27,4.1.2 评估流程,1 论文入库,终评评分,6 转化定级,4 终评,3 复评,2 初评,优劣分级,5 合成计算,论文分类,剔除非学术论文,流程,结果,复评评分,注：每篇论文全流程共经过3-5名评委的评估,4.1 同行评议的组织实施,28,4.1.3 实施细则（共6步）,（1）论文入库（共3项工作） 论文采集： 根据实际需要确定采集范围 复印报刊资料采集所有正式发表的人文社科论文 登记论文的基本信息： 作者及所属机构 形成或发表时间 发表载体 论文全文入库：根据论文电子版情况确定,4.1 同行评议的组织实施,29,4.1 同行评议的组织实施,（2）
12、初评（共2项工作） 鉴别论文学术性：初评评委按如下原则鉴别论文学术性；非学术文章不进行分类，也不进入下一个评估环节。,学术论文分类其中，学科分类以国务院学位委员会和国家教育委员会授予博士、硕士学位和培养研究生的学科、专业目录(1997) 为准；评估分析时根据变化和实际需要进行适当调整 。,30,跨学科 论文,存在主学科的研究论文,交叉学科研究论文,主学科,辅学科,辅学科,学科 1,学科 2,学科 3,论文分类跨学科论文的处理原则,形成唯一评估结果,形成多个评估结果,4.1 同行评议的组织实施,31,4.1 同行评议的组织实施,（3）复评（共3项工作） 核对分类：补充、完善、修订 优劣分级：见右
13、侧表格 独立评分：复评评委在系统中为A、B、C三级的论文评分。（4）终评终评评委在评分系统里为进入终评的论文再次独立评分（在A、B、C三级内）。 注：复评和终评评分均参照同行评议主要指标评分表（见下页）,32,4.1 同行评议的组织实施,【评分说明】 根据评分表的描述，评委先对论文所处的基本等级进行选择，再在评系统里通过左右微调选择1-21之间的数字，表示论文各项指标的得分。如果在评估“学术创新程度”指标时，出现表中D、E的情况时，可把“论文等级”直接定为“D较差”或“E极差”，不再进行其它指标的评分。,同行评议主要指标评分表,33,评分过程的特殊处理,评分不一致的处理： “就高原则” 若同一
14、学科的多名复评评委对同一篇论文 “是否进入终评” 的判断不一致，则该篇论文算作“进入终评”； 若评委一致认为该篇论文“不进入终评”，但对该篇论文的等级判断不一致，则该篇论文算作“D级”。 “课题立项”指标的评估：由于该指标的评估标准较为明确，复评评委确定立项等级后，即作为该指标的最后结果，终评评委不需要再次评估。 “发表载体”指标的评估：所有发表载体的级别将事先录入评分系统，由软件自动评分。,4.1 同行评议的组织实施,34,4.1 同行评议的组织实施,进入终评论文的最终分数: 综合复评和终评所有评委的评分 并采用“除以平均数、乘以系数的方法”进行修正后，得出该篇论文同行评议的最终得分。 （计
15、算方法见下页）,（5）分数合成计算（分为2类） 未进入终评论文的最终分数： 由评分系统根据复评论文的等级给出论文同行评议的最终得分。,35,以管理学研究论文为例：设某一论文集合中共有n篇论文参评，复评和终评共有m位评委，第i位评委对第j篇论文的原始评分为Sji，则：,Sji=0.85（0.29学术创新程 度+0.29论证完备程度 +0.30社会价值+0.12难易程度）+0.15（0.47课题立项+0.53发表载体）,4.1 同行评议的组织实施,论文同行评议得分的修正方法,第i位评委对第j篇 论文原始评分 的合成计算,第i位评委对n篇论文评分的平均值,m个评委对n篇论文 评分区间的平均值,第i个
16、评委对第j篇论文 评分的修正值,m位评委对第j篇论文修正分的平均值，即第j篇论文同行评议最终得分,36,（6）转化定级 对进入终评的论文的最终分数（修正平均后）进行排序 按排序所处的排名百分比位置，确定论文的最终等级 注：交叉学科研究论文的处理： 某学科中，以在该学科的最终分数为准进行排序 计算期刊、作者、科研机构得分时，以该论文在各学科中的最高得分为准,4.1 同行评议的组织实施,示例：复印报刊资料转载论文按排名百分比位置定级,37,初评,非学术,学术,复评,终评,共约40-50万篇,共约30-37.5万篇,共约18-22.5万篇,评分（60-70%）,直接定为D级/E级（30-40%）,再
17、评分,A,示例：复印报刊资料各环节论文评估比例（每年）,B,C,计算确定A、B、C三级,前10%,前11-30%,剩余70%,约1.8-2.25万篇,约3.7-6万篇,约12.7-14万篇,【说明】A、B、C、D、E的比例控制是相对概念，上述比例是书报中心50余年选文经验的总结；其他机构在评估时可针对实际需要确定各级比例。,4.1 同行评议的组织实施,38,4.2 文献计量评估的实施,4.2.1 文献计量评估实施流程,注：复印报刊资料每年定期对前1年发表的和3年前发表论文的文献计量指标数据进行分别统计分析,39,（1）数据获取：根据文献计量指标体系要求，获取并整理待评论文各指标的数据。,设某一
18、论文集合中的第i篇论文的某一指标值为 ， 归一后的值为,4.2.2 文献计量指标体系实施细则（共5步）,4.2 文献计量评估的实施,（2）归一化处理：统一量纲，将论文各指标得分均映射为(0,1 区间的数字,40,（3）合成计算 对1年评估数据的合成计算文献计量指标分数=0.4“Web下载频次归一化值” +0.6被转载次数 对3年及以上评估数据的合成计算文献计量指标分数=0.2“Web下载频次归一化值”+0.5“被他引频次归一化值”+0.3被转载次数 （4）得分排序和（5）论文定级：与同行评议相同,4.2 文献计量评估的实施,41,4.3 综合评估的实施,（1）同行评议分数归一化处理：与文献计量
19、部分相同 （2）综合得分计算 对1年评估数据的合成计算综合得分=0.85“同行评议指标得分归一化值”+0.15“文献计量指标得分归一化值” 对3年及以上评估数据的合成计算综合得分=0.7“同行评议指标得分归一化值”+0.3“文献计量指标得分归一化值” （3）分数排序和（4）论文定级：与同行评议部分相同。,42,4.4 同行评议评分系统示例,复印报刊资料人文社科论文质量评估系统-主要功能,信息管理：论文评价相关信息的后台管理功能,评审管理：为评委提供论文的评分功能,统计分析：为研究人员提供汇总、计算和分析论文得分的功能,指标及权重、学科分类、课题立项级别、发表载体级别的管理； 提供上述信息的查看
20、、修改、增加、删除等功能。,提供论文的查找、分数录入、查看、修改、计算合成和提交功能。,统计分析条件设置功能； 期刊、作者单位、作者、地区等论文转载及评分统计报表查询功能。,43,4.4.1 信息管理功能,修改,增加,删除,保存,（1）课题立项级别管理,填写,44,4.4.1 信息管理功能,（2）发表载体级别管理,增加、修改、删除隶属于某一级别的报刊,增加、修改、删除“发表载体”的级别,45,4.4.1 信息管理功能,（3）指标权重信息管理,增加、修改、删除各类论文的“指标权重”,46,4.4.1 信息管理功能,（4）二级学科信息管理,增加、修改、删除“二级学科”,47,4.4.2 评审管理功
21、能,（1）论文查找,48,4.4.2 评审管理功能,（2）论文评分,论文基本信息,论文标引区,论文评分区,分数显示区,（3）论文评分修改 若需修改，则找到该篇论文，进入评分界面，重新评分，即可覆盖原来的得分。,49,4.4.3 统计分析功能,（1）论文评分统计分析,论文 分类统计,设置统计查询条件,论文各指标原始评分、总分,论文基本信息,论文各指标归一得分、总分,50,4.4.3 统计分析功能,（2）期刊统计分析,期刊 分类统计,每种期刊各指标得分、 转载数/率、论文篇均得分,选择统计的学科,51,4.4.3 统计分析功能,（3）科研机构统计分析,科研机构分类统计,每个机构各指标得分、 转载数
22、、论文篇均得分,选择统计的学科,52,主要内容,1 评估的理论基础与前提,3 指标体系的基本构成,4 指标体系的操作实施,5 指标体系的应用与结果,2 指标体系的设计思路,53,5.1 指标体系的适用领域,指标体系主要可用于如下三个方面：,编辑： 采稿用稿,科研机构:论文 评价,学者： 论文评估研究,如复印报刊资料选文,54,5.2 指标体系的动态应用,可根据以上三个方面的实际需求，确定评估周期，灵活选择指标，并按第3部分所界定的比例重新分配指标权重：,55,5.3 评估结果支撑多种类型的学术影响力研究,论文 评估 结果,学科 学术 影响力,作者 学术 影响力,教学科研单位 学术 影响力,地区 学术 影响力,期刊 学术 影响力,可根据各篇论文的评估结果，对教学科研单位、期刊、作者、地区、学科等学术影响力进行研究。,56,5.4 评估结果示例： 2010年度复印报刊资料转载学术论文指数排名期刊排名,三个维度,57,5.4 评估结果示例： 2010年度复印报刊资料转载学术论文指数排名科研机构排名,两个维度,58,Thanks for your attention!,网址：http:/www.zlzx.org（学术评价栏目） Email: pjzxzlzx.org 电话：010-82504550转2306/2307/2308,
