Can LLMs Generate Novel Research Ideas? A Large-Scale Human Study with 100+ NLP Researchers, Chenglei Si+, N/A, arXiv'24

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2409.04109

  Affiliations

  • Chenglei Si, N/A
  • Diyi Yang, N/A
  • Tatsunori Hashimoto, N/A

    Abstract

  • Recent advancements in large language models (LLMs) have sparked optimism about their potential to accelerate scientific discovery, with a growing number of works proposing research agents that autonomously generate and validate new ideas. Despite this, no evaluations have shown that LLM systems can take the very first step of producing novel, expert-level ideas, let alone perform the entire research process. We address this by establishing an experimental design that evaluates research idea generation while controlling for confounders and performs the first head-to-head comparison between expert NLP researchers and an LLM ideation agent. By recruiting over 100 NLP researchers to write novel ideas and blind reviews of both LLM and human ideas, we obtain the first statistically significant conclusion on current LLM capabilities for research ideation: we find LLM-generated ideas are judged as more novel (p < 0.05) than human expert ideas while being judged slightly weaker on feasibility. Studying our agent baselines closely, we identify open problems in building and evaluating research agents, including failures of LLM self-evaluation and their lack of diversity in generation. Finally, we acknowledge that human judgements of novelty can be difficult, even by experts, and propose an end-to-end study design which recruits researchers to execute these ideas into full projects, enabling us to study whether these novelty and feasibility judgements result in meaningful differences in research outcome.

    Translation (by gpt-4o-mini)

• 最近の大規模言語モデル（LLMs）の進展は、科学的発見を加速する可能性に対する楽観的な見方を引き起こしており、自律的に新しいアイデアを生成し検証する研究エージェントを提案する作品が増えています。しかし、LLMシステムが新しい専門的なアイデアを生成するという最初のステップを踏むことができるという評価は行われていませんし、研究プロセス全体を実行することはなおさらです。本研究では、混乱因子を制御しながら研究アイデア生成を評価する実験デザインを確立し、専門のNLP研究者とLLMアイデア生成エージェントとの初の直接比較を行います。100人以上のNLP研究者を募集し、新しいアイデアを作成し、LLMと人間のアイデアの盲目的なレビューを行うことで、現在のLLMの研究アイデア生成能力に関する初の統計的に有意な結論を得ました。具体的には、LLMが生成したアイデアは人間の専門家のアイデアよりも新規性が高いと評価され（p < 0.05）、実現可能性に関してはやや弱いと判断されました。エージェントのベースラインを詳細に調査することで、研究エージェントの構築と評価における未解決の問題、LLMの自己評価の失敗や生成の多様性の欠如を特定しました。最後に、新規性の人間による判断は専門家であっても難しい場合があることを認識し、研究者がこれらのアイデアを完全なプロジェクトに実行するためのエンドツーエンドの研究デザインを提案し、新規性と実現可能性の判断が研究成果に意味のある違いをもたらすかどうかを研究することを可能にします。

  Summary (by gpt-4o-mini)

• 本研究では、LLMとNLP専門家による研究アイデア生成の比較を行い、LLMが生成したアイデアの新規性が人間のアイデアより高いことを示しましたが、実現可能性はやや劣ると評価されました。また、LLMの自己評価や生成の多様性に関する問題を特定し、研究者がアイデアを実行するためのエンドツーエンドの研究デザインを提案しました。

[AkihikoWatanabe]

LLMがアイデアを考えた方が、79人のresearcherにblind reviewさせて評価した結果、Noveltyスコアが有意に高くなった（ただし、feasibilityは人手で考えた場合の方が高い）という話らしい。

アイデア生成にどのようなモデル、promptingを利用したかはまだ読めていない。