kaixindelele / ChatPaper

Use ChatGPT to summarize the arXiv papers. 全流程加速科研,利用chatgpt进行论文全文总结+专业翻译+润色+审稿+审稿回复
https://chatwithpaper.org
Other
18.42k stars 1.93k forks source link

自动审稿功能赶紧撤回吧 #178

Closed sjcfr closed 1 year ago

sjcfr commented 1 year ago

现在本来审稿人就已经稂莠不齐,各个会议中充斥着大量不负责任的审稿人。又开放这种完全自动化的工具,如何保证不被滥用?是你在开头不痛不痒讲几句类似免责声明的片汤话就能避免的吗?一旦被滥用,那么是人类主导人类的研究,还是AI主导人类的研究?这种审稿工具还可能被其他领域,如生物、医学领域的研究者滥用,尤其是质量不高的非顶级期刊会议。这将带来严重的信息污染。 这一问题需要所有研究者严肃面对。在此严肃建议撤回自动审稿功能。如非,我将三天之内以邮件形式将这一项目的存在告知贵校所有导师及今年各大顶会的程序委员会,由他们评价这一项目的合理性,以及审查贵校所有审稿人的合格性问题。

kaixindelele commented 1 year ago

同学您好:

首先,我们感谢您关注我们的AI辅助审稿工具,并提出您的担忧。我们非常理解您对于自动化审稿工具可能带来的潜在问题的关注。请允许我在这里澄清一些事实。

我们开发这款基于ChatGPT的辅助审稿工具的初衷是三个目的:

我们认为前两个使用场景,显然是利大于弊,而您关心审稿工具可能被滥用的问题,是第三点中,确实可能存在学术伦理风险。为了降低这一风险,我们已经在工具中加入了醒目的提醒。感谢您的提醒,我们后面会在每次输入结果中,插入其他的提示词,防止滥用。

关于审稿人的责任问题,这是我们团队无法直接影响的。即使没有工具,如果个别审稿人不认真审稿,也可能采取敷衍了事的态度;反之,有自动化工具也不能替代,认真负责的人类专家审稿。至于审查审稿人合格性问题,应是Area Chair的职责,而非Program Chair或我们学校导师的职权。

目前,本工具只是在ChatGPT的API上进行了简单的封装。即使我们不开源,其他人也有可能开源类似工具。我们注意到您也在使用AutoGPT等工具,您也在积极地使用最新的技术。作为技术人员,在面对新技术和新工具时,我们应该充分了解其利弊并扬长避短。再者,技术的源头在于OpenAI,我们的工作相较于他们研发更加通用且强大的AGI模型来说,对人类未来的影响力实在有限。

关于您提出的告知各大顶会的程序委员会的建议,我们非常尊重您的意见。实际上,我们鼓励更多的专业人士和研究者参与评估这款工具的实际效果和潜在影响。我们相信,通过大家共同的努力和监督,我们可以更好地利用这款辅助审稿工具为学术界带来积极的影响。

后面,我们也会持续改进工具的性能,并且我们正在尝试利用OpenReview的高质量审稿数据,训练出更好的辅助审稿模型,以确保它能为更多的研究者,提供更有价值的建议。

再次感谢您的关注和建议。如果您有任何其他问题或想法,请随时与我们联系。

sjcfr commented 1 year ago

感谢回复。插入提示词等确实是对于防止滥用的积极应对。但是个人还是认为可能并不足够。 偷懒本身是人性的一部分。如果没有自动审稿工具的出现,或许不负责任的审稿人还能够看两眼论文,自动审稿工具的出现将使得他们连简单的阅读都不大愿意做,而强大的AI模型足以生成似是而非的评语。这将极大增加会议AC的工作量。 至于您提到个人对于AutoGPT的关注,个人认为是这样,新技术需要得到应用,但是绝不能滥用。例如我们可以利用AutoGPT编写网页,但是绝不应该利用AutoGPT等工具开发制造流言、谣言牟利的工具。当前,自动审稿功能的出现或许就可以被看做是技术的一种滥用。至于您提到技术的源头在OpenAI,个人认为是一种推卸责任。打个也许不甚恰当的比方,弗里茨·哈伯发明了合成氨技术,但这一技术也被他人用于合成毒气。那么难道弗里茨·哈伯要为合成毒气负责任吗? 至于为何提到通报学校导师以及会议AC/PC,诚实地讲,也是考虑到诸位开发者很可能并不愿意放弃类似自动审稿这类功能。所以,应不应该使用这类工具,还是交由更资深的研究者,例如贵校的导师来判定;在存在滥用这类工具审稿的前提下,贵校的审稿人是否合格,也交由各个会议的AC/PC来判定。

kaixindelele commented 1 year ago

同学您好: 我们已经对审稿部分做了修改,每次生成的内容最后加上了的伦理声明:

--禁止直接复制生成的评论用于任何论文审稿工作!
--Direct copying of generated comments for any paper review work is prohibited!

而且每15个词中间都插入了警告提示:Generated by ChatGPT, no copying allowed!

至于滥用的定义和责任,我们认为在于不负责任的极少数人,而不是工具本身。这款工具的三个功能,显然是利大于弊的,目前我们正在努力的降低弊端。

我看您也是做NLP的,如果您对这个项目还有什么其他的建设性意见,我们非常欢迎就技术细节问题进行讨论。

最后提醒一下,是哈伯自己制备氯气当武器的。 哈伯-wiki

sjcfr commented 1 year ago

1919年弗里茨·哈伯发明的作为农药杀虫剂的齐克隆B在二战期间被纳粹德国用来作为屠杀犹太人的毒气武器。https://zh.wikipedia.org/wiki/%E5%BC%97%E9%87%8C%E8%8C%A8%C2%B7%E5%93%88%E4%BC%AF