|
胡泽文1 武夷山2 （1. 南京信息工程大学经济管理学院江苏省南京市210044；2.中国科学技术信息研究所情报方法研究中心北京100038） （发表于《高教发展与评估》2015年第4期） （博主：点击以下链接可以看到包括图表的全文http://ex.cssn.cn/jyx/jyx_gdjyx/201601/t20160128_2848133.shtml） 摘要：科学合理和公正的评估体系能够激励科研，优化科研资源配置，提升个人、机构和国家的科研实力和学术影响力。鉴于此，作者在简要综述国内外高校评估研究现状的基础上，选择较具代表性的两个国际性高校内部评估实践和两个外部评估实践，通过对比分析它们在评估时采用的特色指标和特色评估方法，为国内高校评估实践提出一些建议和未来展望。如评估单元应该细化到具体学科、具体专业和具体项目，不同评估单元应该有不同的指标和权重；评估中应该考虑科研时间分配；应注重科研商业化活动的评估；量化评估与同行评议、内部评估与外部评估应该结合起来；应注重评估科研环境；应考虑相对影响、高被引和零被引率指标的使用；评估不仅要着眼于过去，也应着眼于未来。 关键词：高校评估; 科研评估; 内部评估; 外部评估;案例分析; 评估实践; 评估指标与方法；评估建议和展望 中图分类号：644 文献标志码：Ａ Evaluation of Universities at Home and Abroad：Cases and Implications Hu Zewen1 Wu Yishan2 (1.School of Economics and Management, Nanjing University of Information Science & Technology,Nanjing, Jiangsu 210044, China；2.Research Center of Information Method, Institute of Scientific &Technical Information of China, Beijing 100038, China) Abstract: Scientific,rational and impartial evaluation system can stimulate scientific research,optimize the allocation of R & D resources, and improve research strength and academic impact of individuals, organizations and countries. After reviewingthe related studies at home and abroad， we discussed in detail typical internal evaluation practices in famous foreign universities, and described external evaluation practices executed by higher education evaluation organizations of England and Australian Research Council. Finally, through the comprehensive analysis on indicator systems, evaluation methods and evaluation practices, we gave some recommendations and expectations on how to improve evaluation practices of domestic universities. Key words: Evaluation for Colleges and Universities; Research Evaluation; Internal evaluation; External evaluation;Case analysis; Evaluation practice; Evaluation indicator and method; Recommendations and expectations 高校评估包括教学、科研、服务和高校整体管理等方面的评估[1,2]，其中高校科研评估是指评估组织根据特定目的，遵循预先经过科学论证的评估标准(或称评估指标体系)和评估方法(包括同行评议、文献计量或两者相结合的评估方法)，对高校不同院系职员的科研活动和科研成果进行分类评估或综合性整体评估，然后给出排名、绩效评估报告或绩效分，为高校职员的科研水平提供一个基准参考或价值尺度[3]。高校评估分为内部评估和外部评估。内部评估指各高校内部评估组织（参与被评估对象发展与运作的组织）基于设计的评估标准和评估方法对高校科研人员的科研情况进行评估，评估主体对评估对象比较熟悉，易于给出正面评估结果，但很难给出批评性评论意见和创新型解决方案，评估结果通常与科研奖励和职称晋升挂钩。而外部评估指高校外部评估组织（没有直接参与被评估对象发展与运作的组织，包括第三方的非政府评估组织和第三方的政府评估组织）基于设定的评估指标体系和评估方法对各高校的科研水平进行评估，最后给了一个评估报告或高校排行榜，由于评估主体没有既得利益存在，评估过程和结果比较客观，能够从一个新的观点看待评估对象中存在的问题[4]。 高校管理者和职员能够结合科研评估的结果，识别出高校在那些专业具有较强优势，哪些专业处于劣势；个人在科研上有那些优势（比如发表论文多）和不足（比如论文被引频次低、文章创新不够）, 等等。国家教育部、科技部和财政部等科研资助部门可以根据评估组织对高校的具体评估情况，从而决定给高校配置多少资源。高校科研处可以根据评估情况，决定未来应该将科研资源和政策向那些学院倾斜，应该补充多少科研人才；决定将获得的科研资源分配给那些人，如何分配。比如对于科研能力强、科研产出数量和质量比较高、科研人员实力比较强的科研团队，应该给予更多的科研资源和政策支持。高校职员可以根据自己的科研评估情况，投入更多精力和资源，去攻克自己的不足之处，以获得职称晋升和科研资助。 随着高校科研队伍的不断扩大，科研资源和预算虽然在增加，但分配到每个人的科研资源和预算有可能变得越来越少。科研资源和预算是学者多创造优秀成果的基础条件，如果一个优秀的学者，没有科研资源和预算保障，很难创造出更多优秀成果。有效和科学合理的资源配置是解决这种僧多粥少境况的有效方法。将科研绩效评估结果作为资源分配基本标准和科研政策决策依据的方式或许是一种科学合理的方式，当然，前提是所用的科研绩效评估方法和指标必须科学合理。高校科研评估能够为高校管理者、优先领域科研资助、职员招聘和拨款支持等提供有广泛而价值的信息。许多高校和研究机构为了保持竞争力，正积极地实施内部评估和外部评估[5]。设计合理的科研评估体系和激励政策能够促使高校科研人员产出高水平的科研成果，而且，成果的数量也不会落下。而设计不合理的评估体系和激励政策也许会显著提升高校的科研成果产出数量(我们已定量化地验证过：中国高校“理工科研究生必须发表SCI论文方能参加答辩”的科研管理措施对中国的SCI论文产出数量影响最大[6])，但无助于产生高水平的、有重大社会和经济影响的成果。什么样的科研评估体系和激励政策是合理的、值得借鉴的？恐怕目前还无法找出答案，但国际上代表性高校和组织开展的内部和外部评估实践应该是值得我们深入研究和借鉴的。 一、国内外高校科研评估研究现状 高校科研评估研究最早起源于BailarJC 在1965年发表的一篇关于高校科研评估的文章[7]。此后，从1965年至2011年末，国外学者共发表了300多篇相关论文，其中高校科研评估方面的文献有217篇[②]，约占总量的70%；高校排名方面的研究共有91篇[③]，占总量的近30%。近10年（2001-2011）发表了201篇相论文，占过去46年间所发论文总和的近65%。说明近10年国外学者比较关注高校科研评估方面的研究。如：英国学者Taylor,J（2011）通过调查分析发现：基于同行评议得出的英国高校科研质量评估结果能够较好地被基于文献计量指标得出的评估结果所解释，即两者的相关性较高，这暗示：在高校科研评估过程中，可以使用文献计量指标，这样不仅可以降低同行评议的工作量，而且可以减轻同行评议所带来的隐性偏见问题[8]。 国内学者对国外高校评估实践的关注最早开始于1985年对美国高校评估概况的简要介绍[9]。此后，赵敏(2003)全面介绍了2001年英国科研评鉴（Research Assessment Exercise，RAE）的评估情况[10]。王旭和赵俊芳（2009）、阚阅(2009)、栾明香（2011）分别介绍了英国高等教育科研评估的发展历程、评估政策、评估实践、评估环节、影响和存在的不足[11-13]。周廷勇和王保华两位学者认为高校评估时应对高校分类，进行分类评估，我们在后面提建议时，也提到这一点[14]。孙明娟（2010）分析了俄罗斯高等教育质量评估体系[15]。不过它们的研究主要聚集于宏观层次的探讨，而从微观和中观层次上系统性探讨当前国际性代表性科研评估实践在评估指标设置和评估方法上的特色之处及其之间的差异，以及国内高校评估如何借鉴它们的研究成果较少。 二、国际代表性高校科研评估实践 国际上有很多政府机构或公益性组织主导的第三方外部评估实践。如：法国2007年成立了评价法国高教机构的科研与高等教育评价署（AERES）, 该署主要通过现场考察的形式对高校进行评价，并且评价结果与今后拨款挂钩。意大利2003年首次开展了国家层面的三年期科研评价（Valuazione Trinnale della Ricerca, VTR)，6年之后，才首次尝试将评价结果与拨款数额挂钩。评价完全采取同行评议方式。VTR的后继者是五年期科研评价（Valuazione Quinquennale della Ricerca，VQR），与VTR不同，VQR将采取同行评议方法与引文分析方法相结合的方式[16-17]。澳大利亚2010年开展第一轮“澳大利亚科研卓越（Excellence in Research for Australia，ERA）”评价活动代替之前的科研质量框架（Research Quality Framework，RQF），第二轮评价已于2012年进行。新西兰高校所获科研经费来自基于绩效的科研拨款（The Performance-based Research Fund），其中，对高校的科研质量评价结果占60％的权重。评价采用同行专家评审委员会的方式。下一轮评价已于2012年进行。比利时佛兰德语系的高教机构之拨款数额取决于所谓的BOF-key评价活动。自从2003年起，BOF-key评价纳入了文献计量学评价指标。英格兰高等教育资助理事会（HEFCE）于2008年开展的科研评鉴（Research Assessment Exercise，RAE）已经搞了多年，其量化色彩很重。RAE的后继者是2010年3月正式启动的科研卓越框架（Research Excellence Framework，REF）。2015年春将发布评审专家委员会的总评报告。与RAE相比，REF评价活动中，定量学术评价指标的地位相对下降，将会更加突出“影响”（科研的社会影响和经济影响）类指标。 美国哈佛大学和英国牛津大学在2012年世界大学学术排名(上海交通大学发布的)中分别位居第1和第10名，分别有74和57个诺贝尔奖得主[18]。因此它们的内部评估实践应该具有较强的国际代表性。 1. 国际典型高校的内部科研评估实践 （一）美国哈佛大学肯尼迪政府学院的科研评估实践 北京师范大学王建民通过内部观察、邮件访谈和文献研究的方式对哈佛大学肯尼迪政府学院的科研评估实践进行过一个系统性研究。通过仔细研读相关文献，我们发现哈佛大学肯尼迪政府学院的科研评估实践具有以下几个特色：⑴重视对行政后勤人员，而非教学科研人员的绩效考评。通过对行政后勤人员进行绩效评估，能够为高校教学科研人员创建一个良好的服务环境，增强他们的认同感、责任感和使命感，从而提升学校教学科研的实力和水平，促进学校发展成为世界顶级院校。据《哈佛大学肯尼迪学院2008-2009年度年鉴》[19]统计，全院共有行政后勤人员498名，教学科研人员131人，两者之间的比例接近4/1，基本上4个后勤人员服务一个教学科研人员，对于这样的科研服务环境，也难怪肯尼迪政府学院的科研产出和学术影响力如此之高。肯尼迪政府学院每年都会重点对近500名行政后勤人员的绩效进行考核，一般从每年6月开始到9月底结束，历时三个月，过程非常严格和规范，形式上充满技术性和艺术性。比如：行政后勤人员和教学科研人员之间应定期进行“日常性的对话”，帮助其确立清楚的期望目标，并给予支持和促进其发展，使行政后勤人员成为教学科研人员的战友。⑵对教师的科研评估，没有年度、量化、正式、刚性的考评制度，主要采取借助“无形之手”推动力的柔性和宽松机制。“无形之手”推动力，源于聘任竞争力、教学评价压力和对学术声望的追求[20]。对于聘任高级教授职位和晋升的教学科研人员的评估比较严格，而对于那些得到正教授职位的教学科研人员，评估较少且比较轻松，因为他们认为这些人都很优秀，而且具备十足的发展动力，不需要用官僚化的绩效评价来保持他们的生产能力。相反，对这些人来说，这种评价可能会产生相反的效果，如：耗费他们大量的时间，让他们感到厌烦，迫使他们设法去满足限额，而不是去追求卓越。”⑶在对教学科研人员进行科研评估时，除了考虑科研成果数量外，更重视科研成果的质量和原创性，同时，也重视对教学科研人员的创造性、综合能力、学术视野、成果相关性和合作研究活动，以及对机构的责任、作用与贡献等进行评估。⑷不干预教学科研人员的研究方向和范围，为他们创造一个自由科研的环境。每年教学科研人员必须向院长提交年度工作计划，但院长并不干预教师在研究什么。比如分管科研的院长不可以告诉教师应该研究什么，或者告诉他们参加什么特定的研究项目。对科研，只有鼓励没有要求，让每一位教师在工作充分享受自由权利。尽管哈佛大学各学院的科研绩效评估制度和方法不尽相同，但这种差异主要体现在微观方面，宏观上的认识和做法大体一致。 （二）英国牛津大学的科研评估实践 英国牛津大学的科研评估与管理非常重视科研数据的管理、规划与利用。如：他们借助科研信息管理软件Symplectic[21-22]，记录学校每个职员的科研产出信息（包括期刊论文、书籍和专利等）和其它科研信息，每个职员都有一个帐号，可以定期提交自己的科研信息。软件中记录完整准确和开放共享的科研信息有助于培育科研诚信环境，提高科研评估的效率、公正性和透明度。Symplectic软件中记录完整的职员科研信息，不仅为向英国科研卓越框架（REF）提交科研评估材料提供极大的便利，同时也为牛津大学内部各院系及其职员科研评估及其资助提供了完整可靠的参考依据。因此，此软件已经成为很多英国高校为内部科研评估实践、英国科研卓越框架（REF）及其前身科研评鉴(RAE)等外部科研评估实践准备所需待评估科研材料的重要工具。 牛津大学非常重视和积极参与本国的第三方评估实践：科研卓越框架（REF）及其前身科研评鉴(RAE)，评估结果是牛津大学争取科研经费的主要依据和提升学校科研实力的主要途径。第三方评估结果是一面镜子，能够促使学校发现自己的薄弱之处，并不断改进和提升。 2008年牛津大学所有提交到科研评鉴(RAE)2008中的研究活动，有32%被评4*（世界主导）、70%的研究活动被评为4*或3*（世界主导或国际上卓越）。牛津大学凭他在评估中的卓越表现，2009年从英国高等教育资助机构中获得1.19亿欧元的资助，约占2009年总体研究资助(4.8亿欧元)的四分之一[23]。而科研卓越框架（REF）将于2014年实施，并会成为2015年以后英国高等教育资助机构基于质量进行科研资助的一个评判标准，因此英国各高校正加紧准备。牛津大学已动员学校研究委员会及各科研管理部门，在科研卓越框架各评估单元委员会成员的协助下提交资料。 科研卓越框架及其前身科研评鉴在评估后会给出高校具体领域科研活动质量的概要和详细描述文件。牛津大学研究委员会和各院系科研主管人员会根据本校的整体科研表现以及各院系各学科在科研评估中的具体表现来分配科研资源和制定未来科研规划。例如：英国牛津大学向RAE2008心血管医学评估单元提交所有关于心血管医学方面的科研活动，RAE2008心血管医学评估专家委员会根据具体的评估标准及方法流程对提交的研究活动进行评估，并给出一项详细的质量描述文件。如牛津大学提交的100项研究活动中，达到4*标准的有45个，3*标准的有40个，2*标准的有15个。牛津大学研究委员会可以根据这些质量描述文件，找出学校心血管医学研究领域中的强势方面和存在的不足，制定未来的科研规划，以使3*以下的研究活动更进一步，争取达到世界领先水平。 此外，牛津大学在科研评估与管理过程中，也注重为教学科研人员提供高效便利的各类科研服务（如研究申请与资助相关服务、协调研究相关合同与协议的服务、为研究成本与定价提供建议、关于资助机会的信息提供服务、贴心的财务服务等等），为其塑造一个良好的科研环境。另外，牛津大学也非常注重对职员科研成果（包括技术、专利、软件、智力资产等）转移和商业化的管理，如协助牛津大学研究人员商业化研究成果的知识产权（包含专利申请、许可授权、创建衍生公司等），并且对外提供牛津大学知识产权，包括专利、版权和软件等查询和获取服务，等等。这些方面的实践有助于提升科研人员的商业化能力和科研成果的商业化水平，使科研成果产生重大的经济和社会影响，极大地提高牛津大学的社会服务功能，提升其在科研卓越框架（REF）中的整体表现，从而争取到更多的经费。如牛津大学早在1988年就成立一个全资附属公司Isis创新公司（Isis Innovation Ltd），负责管理牛津大学的科研成果转移商业化活动和对全世界顾客提供专业咨询服务。Isis创新公司的年度营业额高达7,500万元人民币，每年达成许可协议超过100份，并基于牛津大学科研成果，孵化了70多家新创公司，平均每两个月形成一个衍生公司。其中有多家已在伦敦证券交易所上市。于2009年成立香港办事处[24]。 2. 政府组织主导的国际代表性高校外部评估实践 （一）澳大利亚科研卓越（Excellence in Research for Australia，ERA）框架 澳大利亚科研卓越（Excellence in Research for Australia，ERA）框架在对各高校机构进行评估时，将提交的评估材料归类到8个学科大类及其子类中。针对不同的学科大类，采用的评估指标及权重也不一样。针对不同类型的指标，科研卓越框架采用的评估方法也各不相同，主要有引用分析、同行评议、定标比对、统计分析和等级排序的方法。表1展示的是科研卓越框架的指标体系。 表1澳大利亚科研卓越框架的评估指标体系 一级指标 | | | | | 基于各学科世界论文篇均被引和澳大利亚高校机构论文篇均被引计算出不同高校机构出版物引用的相对影响力值，并根据影响力值的不同区间将相对影响力划分了七个等级。 | | 各学科世界TOP1%、TOP5%、TOP10%、TOP25%、TOP50%高被引论文的百分比，以及零被引论文百分比。 | | | 非传统科研产出包括创造性工作的成果，公共展览和大型活动的成果；期刊和会议需要在科研卓越框架的期刊和会议等级列表中。 | | | 包括每种收入类别的年度收入和总收入、每个全时当量职工的总收入和平均收入、津贴数量及每个津贴的平均数额。 | | | 著名出版物，如《澳大利亚传记字典》、《牛津国家人物传记大辞典》和各类《百科全书》等的编辑或校订者。 | | 当选为澳大利亚著名科学院、协会、委员会和理事会的成员，或争取到了相关机构的奖学金和津贴。 | | 包括专利、已注册的设计、植物育种产权、指南和科研商业化的收入 | 指南指澳大利亚国家健康与医学研究理事会批准的指南。 |
从表1可以看出，科研卓越框架的指标体系主要分为五大类：科研质量、科研产出、科研收入、科研荣誉和科研应用。对于科研质量类数据，主要采用引用分析的方法进行测算；对于科研产出类数据，主要结合同行评议和定标比对的方法进行测算；对于科研收入和科研应用类数据，主要结合同行评议和统计分析的方法进行测算；对于科研荣誉类材料，主要采用同行评议的方法进行评估。通过分析科研卓越框架的评估指标、评估方法和评估指南等材料，我们发现澳大利亚科研卓越框架在特色评估指标和评估方法方面主要表现在以下几个方面：⑴不搞一刀切，具体问题具体分析。比如将评估领域按《澳大利亚与新西兰标准科研分类》表分成8个大类和不同子类，根据不同学科性质及其成果产出类型方面的差异、每个学科独特的引用行为和不同的出版时间等因素，从总的指标体系（表1所示）中选择适用于各学科的指标体系。⑵不看绝对指标，看相对指标。科研卓越框架在评估科研影响时，并没有使用像总被引频次这类的绝对指标，而是根据不同学科论文的篇均被引频次计算出各学科论文的相对影响力值，并对其进行分区。⑶不仅看高被引指标，还看零被引指标。科研卓越框架除了采用各学科世界TOP1%、TOP5%、TOP10%、TOP25%、TOP50%高被引论文的百分比指标外，还采用了零被引论文百分比指标。⑷非常重视科研质量、科研内在驱动力（科研荣誉）、科研社会和经济效益（包括科研收入、科研应用与商业化）的评估。科研卓越框架的五大类评估指标体系中，只有一类是科研产出类指标，并且只评估科研产出的20%，并且是通过专家评议和基于质量分级列表的方法进行评估，其实这项评估本身也是质量评估。其它四类全部是关于科研质量、科研收入、科研荣誉、科研应用与商业化的指标。⑸评估方法比较多，在对不同指标进行评估时灵活采用不同的评估方法。 （二）英国的科研评鉴（RAE）与科研卓越框架(REF)[25-26] 英国科研评鉴（Research Assessment Exercise，RAE）自1986年开始已经实施过6次，最后一次是科研评鉴2008，之后由2010年开始实施的科研卓越框架(Research Excellence Framework, REF)取代。它们是由英格兰高等教育资助理事会（HEFCE）、苏格兰拨款委员会（SFC）、威尔士高等教育资助理事会（HEFCW）和北爱尔兰就业与学习部(DEL)联合发起和管理。科研卓越框架及其前身科研评鉴是面向英国所有大学科研评估与管理的第三方外部评估框架，是评估英国高校科研活动质量的一个同行评议过程。 与目前盛行的高校排名有所不同，科研卓越框架及其前身科研评鉴比较重视评估过程和评估结果的描述，评估后，会给出一份关于各高校科研活动质量的总体质量描述概要和详细质量描述文档，高校可以根据评估报告中的质量描述，发现本校有那些质量较差，需要改进和提升的学科或领域，在制定未来的科研政策和规划中，除了稳固世界领先的学科或领域之外，加大对那些劣势学科或领域的政策或资助倾斜。科研卓越框架及其前身科研评鉴的评估结果也是英联邦四大资助机构确定资助对象和资助金额多少的衡量标准。资助额取决于各高校在科研卓越框架或其前身科研评鉴中的科研表现。 科研卓越框架及其前身科研评鉴在评估时也是按具体的学科进行分类评估。比如科研评鉴设置有67个评估单元（Units of Assessment，UOAs），每个评估单元设置一个专家委员会。其中科研评鉴2008的评估内容主要包括： l 职工整体概况。每个评估单元中科研活跃人员和相关科研辅助人员的概况信息； l 科研活跃人员。关于机构所选科研活跃人员的详细信息； l 科研产出。每个科研活跃人员在规定出版周期（2001年1月1日至2007年12月31日）中产出的科研成果,要求至少达到4项； l 科研学生。全职和兼职的学术研究生和所授相关学历的数量； l 科研奖学金。研究生科研奖学金及其资助来源的数量； l 外部科研收入。外部资助的数量及来源； l 环境描述。包括科研环境和学术认可指标的信息； l 个体职工的科研环境。指标科研的时间保证和其它环境因素，比如有些职工可能因生病或其它特殊原因缺席科研导致科研成果少于4个，这时必须考虑他们的科研时间对科研产出的影响。 l C类职工的科研环境。科研评鉴2008将不同类型教职工分为四个类别。 科研评鉴2008的评估指标及其权重如表2所示。 表2 科研评鉴2008的评估指标及其权重 | | | | 每个人至少提交4项任何形式、公开可用和可获取的产出,科研时间较少或有特殊原因的员工提交的成果数可以少于4篇。 | | | 清晰描述科研能力发展和科研成功证据的科研培养策略、在校研究生数量及完成研究生学历的学生数量、博士后数量、学生科研产出及科研奖励、科研奖学金外部资助源和内部资助源的数量 | | 来自不同资助实体的科研收入或资助（包括科研资助的数量和来源,以及获得持续资助的程度） | | 各部门未来五年主要科研目标和活动的科研战略规划与支撑科研的基础设施和机制(科研基础设施设备的质量、强大科研群体的事实和科研能力发展的策略、促进合作研究的机制、科研助理及博士后科研助理的数量、以及发展、促进和传播职工科研的机制等方面) | | | 包括说明职工科研卓越贡献的同行认可和国内国际认可的指标 | |
从表2可以看出，科研评鉴2008过于重视科研产出，权重高达75%，对科研质量的重视不够，仅设置5%的权重。值得借鉴的是，科研评鉴2008比较重视对科研环境的评估，设置了20%的权重。 表3展示的是科研评鉴（RAE）2008专家评估委员会对大学X和大学Y所提交科研成果的简单质量描述概要。表中4*、3*、2*和1*表示科研活动的质量级别。其中4*指根据科研活动原创性(originality)、重要性(significance)和严谨性(rigour)评估出的世界主导级质量；3*指具有国际卓越级别，但达不到国际卓越最高级别的质量；2*指国际认可的质量；1*指国内认可的质量；未分类指处于国内认可的标准之下或作品不满足评估对科研的出版定义。从表3可以看出，大学X的科研质量明显高于大学Y。如大学X提交的科研作品中，处于3*质量级别以上的有40个，而大Y仅有5个。 表3 大学X和大学Y的科研质量描述概要 图1是科研评鉴评估结果的总体质量描述框架图。它是由三个具体指标（科研产出、科研环境和同行认可）的质量描述结果分别加权，并经过子专家委员会利用累积舍入法（CumulativeRounding Methodology）进行处理形成的。利用累积舍入法处理描述结果的原因是想确保任何提交实体的总体质量描述结果中各级别科研活动占总量的比例总是能够累积到100%，以避免简单计算产出不公正的结果。 图1 科研评鉴评估结果的总体质量描述框架图 科研卓越框架(Research Excellence Framework, REF)是科研评鉴（Research Assessment Exercise，RAE）的改进版，其设置的指标及其权重如表4所示。 表4 科研卓越框架的评估指标及其权重 | | | | | | | 包括高校各部门使职工当前和未来科研成果产生广泛和重大影响的途径、策略和计划，以及相关的案例。 | | | 科研环境的活力和可持续性，以及它们对更广泛学科或研究基地活力和可持续的贡献。包括实现科研战略目标的科研战略规划、职工安置和职工发展策略、科研文化建设、博士研究生培养的有效性和可持续性、说明研究生科研文化活力和融洽性的事实、科研收入、基础设施设备、学科或研究基地中跨学科研究和协作研究的情况等。 | |
对比分析表2和表4，我们发现：科研卓越框架与科研评鉴相比，更加注重对科研影响的评估。如：将科研评鉴中科研产出和科研环境的权重分别降低了10%和5%，直接去掉科研评鉴中的研究认可指标，直接将其替换为影响指标（ImpactIndicators）,并将其权重从原来的5%提升到20%。在科研影响评估方面，科研卓越框架更加注重对科研重大经济和社会影响及其实现途径、策略和计划的评估。比如在内容提交方面，科研卓越框架明确要求高校提交他们使其科研成果产生影响的途径和在评估期间获得影响的具体例子，这一点在科研评鉴中未做要求。 科研卓越框架各评估专家委员会分别基于成果原创性(originality)、重要性(significance)和严谨性(rigour)三个标准，同时参考国际科研质量标准，对科研产出的质量进行评估；基于参与高校提交的优秀科研成果对经济、社会和文化等领域产生影响的广泛性和重要性标准对科研影响的卓越性进行评估，同时对他们使研究成果产生影响的途径进行评估；基于科研环境的活力和可持续性标准，以及它们对更广泛学科或研究基地活力和可持续的贡献对科研环境的质量进行评估。评估结果的描述与科研评鉴的一样。 三、国外高校科研评估研究和实践为国内高校科研评估带来的启示 1．评估应该细化 评估应该细化到具体学科、具体科研人员和具体项目，并且不同的评估单元应该有不同的评估指标及权重。如果使用同一套指标及权重去评估所有对象，势必会引起争议。比如：澳大利亚科研卓越框架设置了一套总体评估指标体系，在对不同学科进行评估时，根据不同学科性质及其成果产出类型方面的差异、每个学科独特的引用行为和不同的出版时间等因素，从总的指标体系中选择适用于各学科的指标体系。英国科研评鉴将高校科研活动按学科细分为67个评估单元，分别设置专家评估委员会进行评估。奥克兰大学强调以评价个人的学术研究项目为基础，而不是以院、系等单位为基础。但国内很多高校，在进行科研评估时，对所有学科或科研团队的科研人员仅执行一套评估标准。这种评估方法虽然简单，但不够科学合理。不同性质学科的评估标准应该有所差异，比如：人文学科的学者发SCI或SSCI论文非常难，甚至不可能，如果用发SCI或SSCI论文数量来评估人文学科的教师就显得不太合理，应该考虑他们在人文与社会科学杂志上的发文和出版的富有影响力的书籍及其使用者的评价。文学教师编一本富有影响力的著作，或为学生讲的课非常生动，就可说明他们的学术水平较高。而对理科的老师，可以重点考核他们在SCI收录杂志上，甚至在“Nature”和“Science”之类顶级期刊上的发文数量和质量来考核其科研水平。对于那些工科类专业，绩效考核时，应该更加注重他们的技术创新能力，考核他们获得的专利授权数量及这些专利技术的转让情况。 2．评估中应该考虑科研时间分配 科研成果考核应与科研时间分配挂钩。高校教师兼顾教学与科研，有些教师大部分时间在搞教学，而有些教师大部分时间在搞科研，如果把两类教师放在一起比较其科研成果就显得不够合理。另外，有些教师可能因疾病、怀孕和出国等原因导致科研时间严重不足，科研成果少。因此高校教师科研评估时，应充分考虑他们的时间分配。在科研时间内的科研产出才真正体现科研效率和学术水平。如英国的科研评鉴（RAE）与科研卓越框架(REF)要求有科研时间保证的高校职员至少提交4项成果，但那些因特殊原因导致科研时间没保证的高校职员可以少提交一些，并且他们评估时也会考虑提交者的科研时间情况。 3．应注重科研商业化活动的评估 科研商业化活动不仅可以体现科研选题的社会经济影响,也可以为一些科研经费较少的研究人员争取到一些横向经费，这在一定程度上可以缓解高校科研经费紧张的问题。因此各高校需要注重对科研成果技术转移和商业化活动的评估。如澳大利亚科研卓越框架比较重视科研商业化活动的评估，分别设置了科研收入指标和科研应用指标，其中科研应用指标包括专利、已注册设计、植物育种产权和科研商业化收入二级指标。英国科研评鉴和科研卓越框架也比较重视科研收入(它们的科研环境指标都明确将科研收入作为一项重要指标来考核)指标的评估，其中科研卓越框架明确要求高校提交他们使其科研成果产生经济和社会影响的途径和在评估期间获得影响的具体例子。牛津大学在英国科研卓越框架商业化指标的引导下，也非常重视科研的商业化活动。如：创建为科研人员和科研成果商业化活动提供服务的Isis创新公司和牛津创新俱乐部。Isis创新公司的营业额高达7,500万元人民币，每年达成许可协议超过100份，并且帮助牛津大学的研究人员寻找咨询业务机会，同时帮助客户接触到牛津大学世界级的跨学科专家，这能够极大地增强了牛津大学的“科研收入”和“科研影响”这两项指标值，从而使牛津大学在英国科研卓越框架的评估中，名列前茅，争取更多的科研经费。 4．量化评估应与同行评议相结合 量化评估虽然客观，但无法从内容上评估科研成果的质量。再说，论文数量及被引频次也偶尔会出现人为操作的现象。同行评议虽然能够从内容上评估科研成果质量，但也存在缺陷，比如主观性过强，同行的知识面不能涵盖所评估的所有领域和一些交叉学科领域，有些同行对被评估人员的研究领域了解不太深，等等。因此量化评估与同行评议融合起来能够克服两者的缺陷，形成更加科学合理、公正和富有激励作用的评估体系，不过权衡设置两者的权重较难。比如：英国科研评鉴和科研卓越框架也是在保证量化指标的前提下，采用专家评估的同行评议方式进行评估。 5．内部评估应与外部评估相结合 内部评估的实施主体直接参与了被评估对象的运作与发展，对被评估对象比较熟悉和了解，在收集被评估对象的科研信息和发现突出科研人才方面具有很大优势，但正由于这种熟悉和了解，使他们很难给出建设性评论意见和创新性解决方案；有时会掺杂一些人情因素，导致评估结果无法令人信服；并且由于缺乏评估方面的背景知识，较难设计出卓越的评估指标及方法。而外部评估的实施主体（主要指国家教育当局和公益性评估组织实施的评估）未参与被评估对象的运作与发展，没有既得利益存在，能够从一个新的观点看待评估对象中存在的问题；由于是第三方评估，评估过程比较客观，评估结果会让人感觉公正一些；评估结果的使用比较充分，经常用于政府资助的依据；实施主体对评估指标及方法非常熟悉，易于发展一些具有前瞻性、催人奋进的评估指标及方法；并且实施主体比较权威，设计的评估指标能够引领科研风气（重论文类数量指标还是质量指标）。不过外部评估在信息收集和对被评估对象的认识和了解上不具有优势，评估成本较高[27]。因此内部评估与外部评估不是截然对立的，两者有各自的优势和劣势，具有互补性，应该结合起来,相互促进。外部评估能够为内部评估提供客观参考标准和指导，而内部评估能够为外部评估提供评估材料和建议。比如：英国牛津大学利用自身科研信息收集的优势向英国科研卓越框架（REF）及其前身科研评鉴(RAE)提交职员的评估材料，反过来，这些评估材料，以及科研卓越框架的评估指标、方法和结果也为牛津大学内部各院系及其职员的科研评估及其资助提供完整可靠的参考依据。同时牛津大学研究委员会和各院系科研主管人员也可以根据科研卓越框架评估后给出的本校具体领域科研活动质量的概要和详细描述文件，来分配科研资源和制定未来科研规划。 此外，科研卓越框架（REF）注重科研影响（主要指使科研成果产生重大经济和社会影响的途径和机制等）和科研收入（属于科研环境指标要求的评估内容）等指标的评估，这些评估指标也引导着牛津大学重点向科研创新、科研成果转化和技术转移等方面发展，创办一些附属公司为科研成果转化提供孵化途径和增加科研收入。 6．评估时应考虑科研环境 自古就有“孟母三迁”的故事，它告诉我们良好环境对人才成长的重要性。高校也应该为科研人员提供一个好的科研环境。良好的科研环境能够增加科研人员的归属感和认同感，促使他们以更饱满的热情和强大的兴趣积极投入到科学研究之中，攀登科学高峰，为母校和祖国科学水平的提升做贡献。国外很多高校科研评估实践也比较重视科研环境的评估。如英国的科研评鉴（RAE）专门设置有科研环境的评估指标，并将其权重设置为20%，科研卓越框架(REF)将科研环境指标的权重设置为15%。英国牛津大学在科研评估与管理中，比较注重服务科研人员，设置专门的科研服务部门。哈佛大学也比较重视服务科研人员，比如哈佛大学年度绩效考核的重点，不是教学科研人员（faculty）而是行政后勤人员（staff），平均4个后勤人员服务一个科研人员。行政后勤人员和教学科研人员之间应定期进行“日常性的对话”，并给予支持和促进其发展，使行政后勤人员成为教学科研人员的战友。科研环境涉及科研基础设施建设、科研项目申请、科研相关费用报销、等等。如果科研基础设施过差、科研申请和科研费用报销程序过于繁琐、科研服务人员态度过差、等等。这些都会影响科研人员的科研热情和科研效率、以及对单位的归属感和认同感。 7. 高校科研评估应考虑相对影响和零被引指标 高校科研评估不仅应该考虑高校科研水平和能力的绝对指标（如论文总被引频次和数量），也应该考虑相对指标和零被引指标。如：澳大利亚科研卓越框架在评估科研影响时，没有使用论文总被引频次和数量这样的绝对指标，而是根据不同学科论文的篇均被引频次测算出各学科论文的相对影响，同时采用各学科世界TOP1%、TOP5%、TOP10%、TOP25%、TOP50%高被引论文的百分比指标和零被引论文的百分比指标。 四、未来展望 评估的目的是看大学所制定的规划目标是否真正实现。一个大学如果没有好的规划和测量规划目标是否成功实现的预评估指标，在实施真正的评估时很难有好的表现。因此高校科研评估不能总是着眼于过去的科研表现，也应该考虑：要想在未来科研评估时表现优秀，需要预先制定什么目标，怎么才能成功实现这些目标，实现的标准是什么。预规划目标及其测度指标的实现肯定会帮助高校在未来科研评估时得到优越的表现。因此高校应该前瞻性地制定一些科研战略规划目标及行动(国外很多高校如牛津大学和哈佛大学都有这样的内部规划，不过没有相关的公开文件），设定一些衡量规划目标是否成功实现的测度指标。如未来要实现规划目标，要争取到多少科研经费，怎样分配；招多少科研人才、博士和优秀老师，发表多少论文；如何培养人才和进行科研成果转化等。 澳大利亚弗林德斯大学战略规划2010-2014提出9项面向学校未来发展的战略：1.建立强大的、对外开放的学校社区；2.增加教育机会；3.改进学生体验；4.提升教学质量；5.聚焦科研；6.增强国际化水平；7.增强员工归属和认同感；8.建立卓越的校园环境和增加学校经济能力[28]。针对每一项战略目标，弗林德斯大学战略规划2010-2014都详细描述了战略目标的定位和意义；为实现目标学校将如何做，以及实现目标的关键行动和测量目标成功实现的关键指标。为定量化地测度未来科研目标能否成功实现，澳大利亚弗林德斯大学设置了几项关键测度指标： l 将年度科研经费从目前的6200万美元增加到2014年1亿美元的目标； l 在未来5年期间，将出版在A和A*类（由澳大利亚科研卓越计划定义的期刊级别）期刊中的文章数量提高20%； l 增加因科研卓越获得国家奖励的本校科研人员数量； l 截止到2014年，建立2个外部资助的国家级科研中心。 澳大利亚弗林德斯大学规划的这些战略目标及其测度指标的成功实现应当有助于该校在2014年的澳大利亚科研卓越（Excellence in Research for Australia）评估框架中取得较好成绩。 参考文献： [1] Hong D. R. A critical study on the university and academic assessment system in Korea[J]. Inter-Asia Cultural Studies, 2009, 10(2), 292-302. [2] Huang Z. J. Controversial issues of academic evaluation. Teacher Welfare 438[EB/OL]. http://web.nutn.edu.tw/gac110/presidentsay/20031115.doc,2003-11-15/2014-12-11. [3] Huang M. H., Chang H. W., Chen D. Z. Research evaluation of research-oriented universities in Taiwan from 1993 to 2003[J]. Scientometrics, 2006, 67(3): 419–435. [4] External and internal evaluation[EB/OL].http://www2.rgu.ac.uk/celt/ pgcerttlt/evaluating/ eval4.htm,2008-10-24/2014-12-13. [5] Huang M. H.. A Comparison of Three Major Academic Rankings for World Universities: From a Research Evaluation Perspective[J]. Journal of Library and Information Studies，2011，9(1):1-25. [6] 胡泽文，武夷山.科技产出影响因素分析与预测研究――基于多元回归和BP神经网络的途径[J].科学学研究，2012，30（7）：992－1004. [7] Bailar J. C. The Evaluation of Research From The Viewpoint of The University Professor[J]. Research Management, 1965,8(3): 133-137. [8] Taylor J. The Assessment of Research Quality in UK Universities: Peer Review or Metrics?[J]. British Journal of Management, 2011,22(2): 202-217. [9] 立.美国高校评估[J].医学教育,1985(12):15-19. [10] 赵敏.英国高校2001年科研水平评估及其对我们的启示[J]. 南京理工大学学报(社会科学版), 2003, 16(02): 78-88. [11] 王旭，赵俊芳.英国高等教育的科研评估[J].现代大学教育, 2006(03):80-84 [12] 阚阅. 英国高等教育科研评估: 政策, 实践与反思[J]. 高等教育研究, 2009 (9): 104-109. [13] 栾明香. 英国高校科研评估政策及其借鉴意义[J].北京行政学院学报,2011(03):107-110. [14] 周廷勇, 王保华. 关于高校分类评估的几个理论问题[J].高等教育研究,2011 (4): 37-41. [15] 孙明娟. 俄罗斯高等教育质量评估体系透视[J]. 国家教育行政学院学报. 2010(04): 92-95. [16] 武夷山.若干国家的国家级学术评价计划[EB/OL].http://blog.sciencenet.cn/blog-1557- 432144.html,2011-4-12/2014-12-30. [17] The Research Excellence Framework: revisiting the RAE[EB/OL]. http://www. esearchtrends.com/issue22-march-2011/the-research-excellence-framework-revisiting-the-rae-2/,2011-3-22/2015-1-1. [18] 各学校诺贝尔奖得主列表[EB/OL].http://zh.wikipedia.org/wiki/%E5%90 %84%E5%AD%B8%E6%A0%A1%E8%AB%BE%E8%B2%9D%E7%88%BE%E7%8D%8E%E5%BE%97%E4%B8%BB%E5%88%97%E8%A1%A8，2014-11-03/2015-1-1. [19] John F．Kennedy School of Government 2008-2009 Harvard Kennedy School Fact Book[EB/OL].http://www.provost.harvard.edu/institutional_research/archive/Provost_-_Harvard_Fact_Book_2008-09.pdf,2008-09-13/2015-1-5. [20] 大学教师绩效评价：向哈佛学什么[EB/OL].http://news.bnu.edu.cn/xywh/jslt/5143.htm, 2009-10-15/2015-1-7. [21] Symplectic[EB/OL]. http://www.admin.ox.ac.uk/pras/research/symplectic/,2014-10-03/ 2015-1-10. [22] Symplectic Elements Login [EB/OL].http://biblio01.bsp.ox.ac.uk/login.html?returnurl= default.html, 2014-11-03/2015-1-11. [23] REF2014[EB/OL]. http://www.admin.ox.ac.uk/pras/research/ref/, 2014-12-18/2015-1-12. [24] Isis-innovation[EB/OL]. http://www.isis-innovation.com/,2014-12-18/2015-1-12. [25] RAE[EB/OL]. http://www.rae.ac.uk/, 2008-12-18/2015-1-13. [26] REF[EB/OL]. http://www.ref.ac.uk/, 2014-12-18/2015-1-13. [27] MelissaConley-Tyler. A fundamental choice: internal or external evaluation? [J].Evaluation Journal of Australasia, 2005, 4(1&2):3-11. [28] Strategic plan [EB/OL]. http://www.flinders.edu.au/about/our-university/strategic-plan.cfm, 2012-11-07/2015-1-14. 作者简介：胡泽文（1985－），男，汉族，南京信息工程大学经济管理学院，讲师，研究方向：科学计量学与科技评价，江苏省南京市 210044；武夷山（1958－），男，回族，中国科学技术信息研究所，副所长，研究员，研究方向：科技管理与评价，北京100038
[①]国家自然科学基金项目“论文零被引的时间演化规律、影响因素及其应用研究”(编号: 71373252)和南京信息工程大学人才启动基金资助 通讯作者：中国科学技术信息研究所武夷山研究员 [②] TI=("evaluation"OR "assessment") AND TI=("research" OR "academic"OR "preformance") AND TI=("universities" OR"university" OR "College") 数据库=SCI-EXPANDED, SSCI, CPCI-S, CPCI-SSH 时间跨度=1965-01-01 - 2011-12-31 [③] TI=("Rankings")AND TI=("universities" OR "university" OR"College") 数据库=SCI-EXPANDED,SSCI, CPCI-S, CPCI-SSH 时间跨度=1978-01-01 - 2011-12-31
国外高校科研评估实践 | 
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
照妖镜
