同行评议靠谱吗？

摘要: 摘要同行评议是当前科学界最普遍的分配形式，但是同行评议的有效性却鲜有研究。哈佛商学院Danielle Li教授与其合作者波士顿大学Leila Agha 教授使用美国国立卫生研究院近30年的数据加深了我们对这一问的理解。 ...

摘要：同行评议是当前科学界最普遍的分配形式，但是同行评议的有效性却鲜有研究。哈佛商学院Danielle Li教授与其合作者波士顿大学Leila Agha 教授使用美国国立卫生研究院近30年的数据加深了我们对这一问的理解。

史冬波 / 清华大学与哈佛大学联合培养博士

同行评议是当前科学界最普遍的分配形式，但是同行评议的有效性却鲜有研究。哈佛商学院Danielle Li教授与其合作者波士顿大学Leila Agha 教授使用美国国立卫生研究院近30年的数据加深了我们对这一问的理解。论文聚焦于三个研究问题：

同行评议是否筛选出了优质的研究计划？
同行评议的价值有多大？
同行评议是否筛选出了应用前景好的研究计划？
针对这三个问题，作者收集了美国国立卫生研究院的R01项目1980-2008年约13万个研究计划的评审分数并跟踪了每个计划在受资助五年后的论文发表、被引与专利数据。在控制了获资助科学家的论文发表历史、历史获资助情况、所在机构特征、学术生涯阶段等变量后，作者发现：

同行评议的评价越好，受资助计划在其后五年内的研究产出越好

具体来说，同行评议差一个标准差，被资助的研究计划在未来五年的引用减少15%，发表减少7%，高影响力论文发表减少19%，相关专利减少14%。这些证明了同行评议的有效性。

同行评议确实可以甄别研究计划的价值

更有趣的是，论文使用局部回归（科学家特征为自变量）预测所得残差与同行评议分数的关系，探讨了同行评议的价值。作者认为同行评议确实可以甄别研究计划的价值。评议分数越低，局部回归残差越大，而此处残差即是无法用研究计划及申请科学家的特征解释的部分，可以作为研究计划质量的某种测度。

在欣赏这项有趣研究的同时，我们也惊叹于美国公共部门数据的开放的程度。何时国家自然科学基金也愿意开放数据，对同行评议进行评估与优化？

参考文献

Li D,Agha L.(2015). Big names or big ideas: Do peer-review panels select the best scienceproposals?. Science, 348(6233): 434-438.

文字编辑：李江 / 浙江大学

同行评议靠谱吗？ | 责任编辑：虫子