资讯| 各大科学资助机构拒绝使用AI进行同行评议

曹娉 · 发表于 2023-9-15 15:18

转载自“美捷登”，文章版权归武汉美捷登生物有限公司所有。

美捷登Lestat

4月初，神经学家Greg Siegle在一次会议上听到了“非常可怕”的事情：一位科学家表示，他作为美国国立卫生研究院(NIH)的同行评议人，在起草冗长的研究提案时，ChatGPT成为了不可或缺的工具。其他听众表示赞同，他们认为ChatGPT可以节省大量时间——起草一份审查报告可能只需要将提案的部分内容(如摘要、目标和研究策略)粘贴到AI中，并要求它对这些信息进行评估。

然而，NIH和其他资助机构正在遏止这种行为。6月23日，NIH下令禁止使用ChatGPT等在线生成AI工具“分析和制定同行评议”——部分原因可能源于匹兹堡大学的Siegle及其同事的一封信。会议结束后，他们警告该机构，允许ChatGPT撰写拨款审查是“一个危险的先例”。类似的情况还有澳大利亚研究委员会(ARC)于7月7日开始禁止使用生成式AI撰写同行评议。

其他机构也在制定对策。美国国家科学基金会的一位发言人表示，他们已经成立了一个内部工作组，研究是否可以适当使用AI作为绩效评估过程的一部分，如果可以的话，需要制定什么样的“标准”。欧洲研究理事会要求在撰写和评估提案时一同探讨AI。

ChatGPT和其他大型语言模型在庞大的信息数据库上进行训练，生成类似人类编写的文本。这些AI机器人的出现，已经促使担心伦理和事实准确性的科学出版商限制使用它们来撰写论文。包括Science在内的一些出版商和期刊也禁止审稿人使用它们。

对于资助机构来说，保密是最重要的问题。当提案的一部分被输入在线AI工具时，这些信息就成为其训练数据的一部分。NIH担心这些数据在未来被其他人知晓或使用。

批评人士还担心，AI撰写的评论容易出错(众所周知，机器人会捏造事实)，因为它们取材于现有信息而对非主流观点有偏见，并且缺乏推动科学创新的创造力。NIH的官员在博客上写道:“NIH所看重的原创性思想在这个过程中丧失了，并且同质化了，甚至可能构成剽窃。”对于期刊来说，审稿人的意见也是一个问题。IOP publishing的同行评议负责人Kim Eggleton说:“不能保证审稿人理解或同意他们提供的内容。“

在澳大利亚，一名研究人员运营的匿名Twitter账户ARC_Tracker报告称，一些科学家收到的评论似乎是由ChatGPT撰写的，一周后，ARC禁止拨款审稿人使用生成式AI工具。ARC_Tracker表示，有些人把部分提案粘贴到ChatGPT上，也得到了类似的评价。一个评论甚至包含了一个“赠品”词汇——“重新生成响应”，这个词汇一般作为提示出现在ChatGPT响应的末尾。(ScienceInsider证实了ARC_Tracker的身份，但同意匿名，以便这位科学家和其他人可以使用该账户自由地批评ARC和政府政策，而不必担心后果。)

ARC_Tracker的所有者说，科学家们可能认为ChatGPT产生了有意义的反馈，但它本质上只是在重复提案。不可否认，一些人类审稿人也会这样做。但是，这位科学家在给ScienceInsider的一封电子邮件中写道:“适当的审查应该要体现洞察力，提供批评、知情意见和专家评估，与仅仅是对提案中已有内容的总结之间存在很大的区别。”

然而，也有一些研究人员表示，AI提供了一个改善同行评议过程的机会。爱荷华大学的精神病遗传学家Jake Michaelson说，NIH的禁令是“科技恐惧症让他们错失积极改变的机会”。Michaelson说，审稿人可以使用这些工具来检查他们的评论，看看他们是否忽略了提案中的任何内容，帮助他们评估自己领域之外的内容，并且完善他们不恰当的语言。“我认为AI终将成为同行评审过程的第一线，而人类专家将补充第一线的人工智能评审。我宁愿让ChatGPT来审核我自己的提案，也不愿让一个懒惰的人类审稿人来审核。”

随着时间的推移，形势可能会发生变化。几位科学家在NIH的博客上指出，一些生成式AI可以离线工作，并且不会侵犯隐私。NIH回应说，它希望为“快速发展的领域”“提供额外的指导”。

西北大学伦理学博士后研究员Mohammad Hosseini在手稿审查中写过关于AI的文章，他认为NIH的禁令目前是合理的:“考虑到NIH处理的问题和项目的敏感性，以及AI工具的新颖性，采取谨慎的态度是绝对必要的。”

参考资料：
https://www.science.org/content/article/science-funding-agencies-say-no-using-ai-peer-review

资讯| 各大科学资助机构拒绝使用AI进行同行评议

账号		自动登录	找回密码
密码			注册会员

资讯| 各大科学资助机构拒绝使用AI进行同行评议

晓木虫

资讯| 各大科学资助机构拒绝使用AI进行同行评议