1、2018/11/3,1,关于计算机领域论文评价的 一些思考,林闯 陈文光 清华大学计算机系,2018/11/3,2,提纲,计算机领域论文评价的复杂性 会议论文的重要性 论文价值的主客观度量 客观指标：引用（影响引子），录用率等 主观指标：会议与期刊列表等 一种综合的评价方法,2018/11/3,3,计算机领域论文评价的复杂性,计算机领域 新兴的学科：我国58年建立学科 交叉的学科：数学、机电等（数理与工程技术交叉） 快速发展的学科：摩尔定律、网络发展定律 基础技术的学科：对其他学科的支撑 论文评价的多样性与复杂性 人造系统有很多新的现象、规律需要抽象和总结，缺乏理论基础。 评价需要理论与工程技
2、术两方面考量 热点不断，论文引用率不高。 学生和论文数量不断攀升，国内外期刊和会议庞杂。,2018/11/3,4,计算机领域论文评价的复杂性（1）,论文评价是一项重要而又困难的工作 重要性 声誉与影响 学科建设和评估 政策和工作导向 复杂性 计算机领域包含多个学科和研究方向 每个学科和方向也有不同的论文评价体系和标准 单位发展的平衡 评价的主客观因素很多，尚没有一致统一的标准 是一个不断思考、不断认识和不断完善的过程,2018/11/3,5,计算机领域的会议论文的重要性,“The reason conference publication is preferred to journal pub
3、lication, at least for experimentalist, is the shorter time to print(7 months vs 1-2 years)” The opportunity to describe the work before ones peers at a public presentation, and The more complete level of review(4-5 vs 2-3)”Evaluating Computer Scientists and Engineers For Promotion and Tenure，David
4、Patterson, Lawrence Snyder and Jeffrey Ullman，1999，http:/www.cra.org/main/cra.pubs.html,2018/11/3,6,论文的意义在于学术和工程价值,价值的评判标准 客观 工程实践 引用次数（影响因子）,如SCI, citeseer, scholar.google等 会议录用率 参加人数，与工业界联系（较为间接和次要） 主观：“公认” 影响力和同行评价 Conference Rank List NUS，Geogeia Tech，Microsoft，IBM Journal Rank List 香港科大，香港理工大学,
5、2018/11/3,7,论文引用是学术价值的良好体现,SCI的引用因子，是对期刊质量的良好评价 引用，特别是他引，表达了论文影响力,数据来源：2006 Journal Citation Report (JCR), Thomson ISI,2018/11/3,8,SCI期刊影响因子分布,2018/11/3,9,SCI的缺陷在于不收集会议录,许多优秀的会议是ACM、IEEE、USENIX和IFIP主办的，不发表在LNCS上。 LNCS进去，又被请出来了。因此，探索会议论文的评价标准是非常有意义的工作。 如果能够将会议论文与期刊论文一起评价将更有意义,2018/11/3,10,Citeseer的排名
6、,http:/citeseer.ist.psu.edu/impact.html 混合了会议与期刊的排名 使得会议与期刊可以进行对比 引用率计算方法 只计算他引 N是平均每年的单篇文章引用次数，引用因子是ln(N+1),2018/11/3,11,Citeseer影响因子分布,2018/11/3,12,Citeseer的缺陷,目前的数据是2003年统计的 新的会议和期刊没有列入 如EUROSYS, NSDI等 现有会议和期刊的数据没有更新 程序自动进行统计，列表中有些错误 WWW出现了若干次 WWW8,WWW9,WWW5等等 总体上，Citeseer提供了一种论文影响力的客观评判方法，可以成为论文
7、评判的参考依据。,2018/11/3,13,论文录用率,论文录用率是衡量会议质量的一个指标，但不是最重要的指标 好的会议有可能录用率较高，因为水平一般的论文不敢投稿 一般的会议可能会有很多水平一般的投稿从而造成录用率较低 过低的录用率实际损害了会议接收包含新观点论文的能力 被录用的论文通常是工作完整，有争议的论文在过低录用率的会议上往往会被拒绝 20-30%的录用率就比较合理，Some argue that too-high acceptance rates (e.g., 40%) dont challenge the field enough; while too-low acceptanc
8、e rates ( 15%) enourage too much conservativism in program committees. Thus, as a field grows some feel the paper publishing opportunities should also grow to keep acceptance reasonable (e.g, 20-30%). http:/wiki.acm.org/healthcc/index.php?title=Talk:Accepting_More_Papers,2018/11/3,14,主观标准,优点 被同行承认是影
9、响力的表现 可以判断出不同领域的引用率情况可能不同 缺点 某个领域的研究者容易提出自己容易达到的标准 难以在组织内部验证,2018/11/3,15,NUS的排名,最著名的会议排名 http:/www.ntu.edu.sg/home/ASSourav/crank.htm 仅有会议排名，不包含期刊 分为4级，Rank1, Rank2, Rank3, Unranked 有一个Georgia Tech的变种 http:/www-static.cc.gatech.edu/guofei/CS_ConfRank.htm 内容基本相同，少数会议上略有调整，如CIKM，在NUS的列表中是RANK1,在Georg
10、iaTech的列表中是Rank 2,2018/11/3,16,NUS的排名,AREA: Databases SIGMOD: ACM SIGMOD Conf on Management of Data PODS: ACM SIGMOD Conf on Principles of DB Systems VLDB: Very Large Data Bases ICDE: Intl Conf on Data Engineering CIKM: Intl. Conf on Information and Knowledge Management （Citeseer IF: 0.73, top 35.87
11、%） ICDT: Intl Conf on Database TheoryAREA: Artificial Intelligence and Related Subjects AAAI: American Association for AI National Conference CVPR: IEEE Conf on Comp Vision and Pattern Recognition IJCAI: Intl Joint Conf on AI ICCV: Intl Conf on Computer Vision ICML: Intl Conf on Machine Learning KDD
12、: Knowledge Discovery and Data Mining KR: Intl Conf on Principles of KR & Reasoning NIPS: Neural Information Processing Systems UAI: Conference on Uncertainty in AI AAMAS: Intl Conf on Autonomous Agents and Multi-Agent Systems (past: ICAA) ACL: Annual Meeting of the ACL (Association of Computational
13、 Linguistics),2018/11/3,17,一种综合评价方法,以引用为主要因素，主观排名为辅助因素 综合SCI引用因子，CiteSeer和NUS会议分级 原则 不易确定的向下评级 在SCI引用因子，CiteSeer和NUS会议分级中都要达到标准 比如CIKM，在NUS排名中定为1级，但在citeseer上的引用因子仅为0.73（top 35.87%），还是定为2级 较新的会议，通过附加外界评估的方法确定位置,2018/11/3,18,部分一级会议的Citeseer 影响因子,2018/11/3,19,部分二级会议的Citeseer 影响因子,2018/11/3,20,一种综合的会议期
14、刊分级方法,论文分为3级 1级，SCI IF 1 AND citeseer IF 1.4 AND NUSRank 1 2级，SCI IF 0.7 AND citeseer IF 0.5 AND NUSRank2 3级，其它（鼓励投稿优秀论文，因此不做进一步细分）,2018/11/3,21,新方案一级期刊的Citeseer 和SCI影响因子,2018/11/3,22,新方案二级期刊的Citeseer 和SCI影响因子,2018/11/3,23,总结,计算机领域论文评价包含不同学科和方向的特点，是一件重要而困难的工作，没有统一标准。 初步提出了一种综合的评价方法，未来的工作还很多 需要进行细致的调整和咨询 进一步研究某些CITESEER和SCI引用因子不一致的原因（时间因素，他引的规则，统计引用的范围不同还是统计错误？） 从评价刊物、会议到评价论文本身再到评价个人的学术成就 陈景润的论文发表在科学通报和中国科学上 H-index（用于评价个人学术成就） 不同的评价方法适应不同的情况，我们所提的综合评价方法仅供参考。,2018/11/3,24,谢谢！,
