FacTool: Factuality Detection in Generative AI -- A Tool Augmented Framework for Multi-Task and Multi-Domain Scenarios, I-Chun Chern+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2307.13528

  Affiliations

  • I-Chun Chern, N/A
  • Steffi Chern, N/A
  • Shiqi Chen, N/A
  • Weizhe Yuan, N/A
  • Kehua Feng, N/A
  • Chunting Zhou, N/A
  • Junxian He, N/A
  • Graham Neubig, N/A
  • Pengfei Liu, N/A

    Abstract

  • The emergence of generative pre-trained models has facilitated the synthesisof high-quality text, but it has also posed challenges in identifying factualerrors in the generated text. In particular: (1) A wider range of tasks nowface an increasing risk of containing factual errors when handled by generativemodels. (2) Generated texts tend to be lengthy and lack a clearly definedgranularity for individual facts. (3) There is a scarcity of explicit evidenceavailable during the process of fact checking. With the above challenges inmind, in this paper, we propose FacTool, a task and domain agnostic frameworkfor detecting factual errors of texts generated by large language models (e.g.,ChatGPT). Experiments on four different tasks (knowledge-based QA, codegeneration, mathematical reasoning, and scientific literature review) show theefficacy of the proposed method. We release the code of FacTool associated withChatGPT plugin interface at https://github.com/GAIR-NLP/factool .

    Translation (by gpt-3.5-turbo)

• 抽象2： 生成型の事前学習モデルの出現により、高品質なテキストの合成が容易になりましたが、生成されたテキストの事実の誤りを特定することにも課題が生じています。 具体的には、(1) ジェネレーティブモデルによって処理されるタスクの範囲が広がり、事実の誤りを含むリスクが増加しています。(2) 生成されたテキストは長く、個々の事実の明確な定義が欠けています。(3) ファクトチェックのプロセス中には明示的な証拠が不足しています。 上記の課題を考慮して、本論文では、大規模言語モデル（例：ChatGPT）によって生成されたテキストの事実の誤りを検出するためのタスクとドメインに依存しないフレームワークであるFacToolを提案します。 知識ベースのQA、コード生成、数理推論、科学文献レビューの4つの異なるタスクでの実験により、提案手法の有効性が示されました。 ChatGPTプラグインインターフェースに関連するFacToolのコードは、https://github.com/GAIR-NLP/factoolで公開されています。

  Summary (by gpt-3.5-turbo)

• 生成型の事前学習モデルによって生成されたテキストの事実の誤りを検出するためのフレームワークであるFacToolが提案された。知識ベースのQA、コード生成、数理推論、科学文献レビューの4つのタスクでの実験において、FacToolの有効性が示された。FacToolのコードはGitHubで公開されている。

[AkihikoWatanabe]

Neubigさんの研究