2017年1月,教育部、财政部、国家发改委联合印发了《统筹推进世界一流大学和一流学科建设实施办法(暂行)》的通知,通知明确要求“一流学科建设高校应具有国内前列或国际前沿的高水平学科,学科水平在有影响力的第三方评价中进入前列”。在目前对一流学科进行评价的第三方评价体系中,科睿唯安(Clarivate)的ESI(EssentialScienceIndicators)学科排名被认为是评价国际学科水平及影响力的最重要指标之一,也是我国众多科研院所对人才聘用、考核等的重要参考指标。
本次技术论坛讨论从ESI评价机制及其发展的角度进行思辨,讨论该评价机制对我国学术生态影响的利弊,由计算机领域的管理者、学者专家和期刊编辑等从多维度进行演讲和思辨,就如何建立合理的评价体系有效推动我们学术生态健康发展问题提出方案,并讨论其下一步的发展方向。
论坛的引导发言环节邀请了四位嘉宾,分别是来自华北理工大学的陈学斌教授、湖南大学的“长江学者”彭绍亮教授、华中师范大学的蒋兴鹏教授、《天津大学学报》编辑部的王晓燕主任。
彭绍亮教授以“ESI评价机制的思考与发展”为主题,讨论了国内期刊的发展、ESI评价方式的优缺点及其改进方案。具体内容包括:一、不要受制于国际期刊和评价体系的限制,鼓励国内学者创建自己的国际期刊,用长期的深耕创建我们自己的有影响力的期刊;二、ESI由2001年美国科学信息研究所推出,近年来也在陆续改进。科睿唯安的高倍引科学家的评选还是有一定的道理的,具有正面的引导意义,其中入选的科学家既有具有声望的教授,也有年轻的学者、学生;三、ESI作为评价方式存在和问题:1)ESI学科划分与中国学科评价存在水土不服;2)导致学科发展畸形;3)需要打造符合国情的大学评价指标体系。四、可以用“超越指数”辅助传统的“ESI三年平均影响因子”,修正过去期刊影响因子计算的局限,更好的反映期刊影响力。评价方式应该用多把尺子从多个角度度量。
蒋兴鹏教授以“ESI评价机制的一点思考”为主题,从“ESI总体介绍”、“ESI评价体系中热议的问题”、“综合评价方法的思考”等几个方面展开演讲。具体包括:一、ESI的四大构成部分、组成学科、功能;二、ESI评价体系中热议的问题:1)学科排名是否准确合理;2)学科领域划分是否准确;3)引用是否真实有效;4)引用是否说明一切;5)ESI的不当风气;6)ESI是否能取代同行评议。三、ESI评价应用广泛,且对于科学客观的评价发展具有重要意义,但只拿这个尺子,具有一定的局限性,更应该强调第三方公平、综合评价。
在思辨环节,来自海南大学的段玉聪教授、国防科技大学的甘新标副研究员、长春理工大学的刘鹏教授作为思辨嘉宾与参与论坛的所有专家和老师就以下几个议题进行了激烈的探讨。
思辨问题1.1:ESI评价有哪些优点
陈学斌:ESI作为一个论文的评价指标,还是有优势的地方。从涉及的22个学科,还是比较准确的。但是如果作为一个科研评价指标,还是不够的,科研不仅仅包括论文,存在一些包括自引这样的问题。作为科研工作者,论文的出版很重要,但是论文也不是科研工作的核心,ESI很重要,可能会带来一些利益,但是不要过于追捧。为人类为社会做出自己的一份贡献,牢记科研的初衷。
甘新标:政府层面应该引导,要看质量,不只数数量。指挥棒上面需要有所优化。
思辨问题1.2:ESI评价可以从哪些方面进一步完善
刘鹏:ESI只是在论文方面的评价,科研不只有论文。国家希望把科研工作写在祖国大地上,做一些实际的东西。在国家层面是有在改变的。关于ESI的评价,在历史上面是有很大的作用,通过对ESI的追求,让我们的学科更国际化了,让老师的水平往国际化上靠拢了。从长远来上看,要更有信心,科技自信体制自信,是否能提出新的指标。让更多的科研人员向卡脖子技术去冲锋,而不只是去刷论文。这些年有些科研人员比较急功近利,未来要减少自引等作弊。ESI主要评的是期刊,各个学科的发展要从追求热点,追求更多被引,能不能引导我们的学者从比较边缘的科研方向去研发。日本其实不看重ESI,但是这些年成果很不错。日本有开听证会,汇报成果,是另外一把尺子的选择。
思辨问题2.1:高被引学者评价有哪些优点
段玉聪:高被引学者其实是一个破解我们国家有组织学者的角度,是走在创新前沿的,需要形成体系。如果能和国家重大需求集合融合,就可以把对于高被引学者的评价转为对国家特定问题研究的评价。
思辨问题2.2:高被引学者评价可以从哪些方面进一步完善
蒋兴鹏:评价指标还是比较单一,要从学科上来考量。一个指标用到评价学者的标杆上还不够,要有更多综合的指标的提出。要考虑研究方向和国家重大需求的匹配度,是否解决卡脖子问题,是否有技术转让,科研成果转换,是否带动人才培养。
王晓燕:高被引学者公布之后,出版社就会去约稿。稿件引用情况并不是每个高被引学者的稿件都非常好,还是要从稿件本身来衡量学术价值。高被引学者的成果并不一定都是正面的影响。
刘鹏:高被引学者肯定在论文方面有好的评价,但是科研水平可能有争议。这是数据上的指标,要引入其他指标,创造自己的评价体系。
思辨问题3.1:后五唯时代,科研单位如何评价科研工作者
陈学斌:以前有相对量化的评价指标,现在总是在说代表作。代表作怎么体现质量,如何评价呢。一些走在无人区的科研成果,怎么能被人承认呢。如果说把五唯的东西都抛掉,目前还没有一个很成熟的想法。有条件的细分评价或许是一个好的方式,每个学科内可以设定自己的评价。
彭绍亮:破了五唯之后,就更难了。其实并不是废除这5个指标,而是不能只唯五唯。包括教学岗的老师要怎么去正确评价。结合公平,科学,健康,可持续发展的指标,去综合评价科研工作者。
段玉聪:是否可以结合,数据大多数情况下反应了真相,但是并不等于真相,在尊重ESI等评价的情况下,丰富或者本土化。可否进行设立可信机制,坚持科技生产力。
思辨问题3.2:如何利用科研评价促进学术生态健康发展
蒋兴鹏:追求高质量发展,制定标准的时候可能考虑学科特点考虑的过少。这是一个非常复杂的系统工程。调动科研工作者的积极性,在学术生态环境里面,追求的不仅仅是奖励,职称,帽子什么的。破五唯并不是不唯,而是要更综合的去尊重多样性学术成果。要用好同行评议,综合的看材料。促进学术生态健康发展。
王晓燕:天大的无人驾驶和无人机团队,目前都实现了商业转换,从科研变成生产力,是一个很积极的导向。上海交大引进人才,是会给与人才支持,人才办学术期刊,2年之内进入到sci。优秀学者获得title的时候,是可以正向促进学科生态发展的,能量很强。科研评价赋予科学家的力量是很大的。
彭绍亮:给与人才尊重,社会地位,通过科学技术发展,title也可以作为专业评价让社会听到科研工作者的声音。
甘新标:帽子工程可以促进发展。破了五唯以后,要拿新的指标去评价科研工作者,需要政府来引导。
刘鹏:长春理工大学产学研和论文专利打通了,让科研工作者回归初心,真正喜欢科研,做本质的工作,想要推动的工作。科研工作者是否需要科研单位对它的评价呢?
本次论坛经历三个小时,通过论坛思辨,辨明了ESI评价算法作为高校评价机制的指挥棒的优劣,将更好的推动我国科研评价机制和学术生态的健康发展,促进国内科研的发展。