GPQA: A Graduate-Level Google-Proof Q&A Benchmark, David Rein+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2311.12022

  Affiliations

  • David Rein, N/A
  • Betty Li Hou, N/A
  • Asa Cooper Stickland, N/A
  • Jackson Petty, N/A
  • Richard Yuanzhe Pang, N/A
  • Julien Dirani, N/A
  • Julian Michael, N/A
  • Samuel R. Bowman, N/A

    Abstract

  • We present GPQA, a challenging dataset of 448 multiple-choice questionswritten by domain experts in biology, physics, and chemistry. We ensure thatthe questions are high-quality and extremely difficult: experts who have or arepursuing PhDs in the corresponding domains reach 65% accuracy (74% whendiscounting clear mistakes the experts identified in retrospect), while highlyskilled non-expert validators only reach 34% accuracy, despite spending onaverage over 30 minutes with unrestricted access to the web (i.e., thequestions are "Google-proof"). The questions are also difficult forstate-of-the-art AI systems, with our strongest GPT-4 based baseline achieving39% accuracy. If we are to use future AI systems to help us answer very hardquestions, for example, when developing new scientific knowledge, we need todevelop scalable oversight methods that enable humans to supervise theiroutputs, which may be difficult even if the supervisors are themselves skilledand knowledgeable. The difficulty of GPQA both for skilled non-experts andfrontier AI systems should enable realistic scalable oversight experiments,which we hope can help devise ways for human experts to reliably get truthfulinformation from AI systems that surpass human capabilities.

    Translation (by gpt-3.5-turbo)

• 私たちは、生物学、物理学、化学の専門家によって作成された、高品質かつ非常に困難な448の多肢選択問題からなるGPQAデータセットを提案します。これらの問題は、対応する領域で博士号を持つまたは取得しようとしている専門家が65％の正答率を達成します（専門家が後で特定した明らかな間違いを除くと74％）。一方、高いスキルを持つ非専門の検証者は、平均30分以上の制限のないウェブアクセスを利用しても34％の正答率にしか達しません（つまり、これらの問題は「Google-proof」です）。これらの問題は、最先端のAIシステムにとっても困難であり、最も強力なGPT-4ベースラインでも39％の正答率しか達成できません。将来のAIシステムを使用して非常に難しい質問に答える際に、例えば新しい科学的知識を開発する際に、私たちがスケーラブルな監督方法を開発する必要があります。これにより、スキルを持つ監督者であっても信頼性のある情報をAIシステムから確実に得る方法を考案できるようになります。GPQAの難しさは、スキルを持つ非専門家や最先端のAIシステムにとっても実現可能なスケーラブルな監督実験を可能にし、人間の専門家が人間の能力を超えるAIシステムから真実の情報を確実に得る方法を考案するのに役立つことを期待しています。

  Summary (by gpt-3.5-turbo)

• 私たちは、高品質で非常に困難な多肢選択問題からなるGPQAデータセットを提案します。このデータセットは、専門家でも高い正答率を達成できず、最先端のAIシステムでも困難であることが示されています。将来のAIシステムの開発において、スケーラブルな監督方法を開発する必要があります。これにより、スキルを持つ監督者がAIシステムから信頼性のある情報を得ることができるようになります。GPQAデータセットは、スケーラブルな監督実験を可能にし、人間の専門家がAIシステムから真実の情報を確実に得る方法を考案するのに役立つことが期待されています。

[AkihikoWatanabe]

該当領域のPh.D所有者でも74%、高いスキルを持つ非専門家（Googleへアクセスして良い環境）で34%しか正答できないQAデータセット。 元ツイート: https://x.com/idavidrein/status/1727033002234909060?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q