RAT: Retrieval Augmented Thoughts Elicit Context-Aware Reasoning in Long-Horizon Generation, Zihao Wang+, N/A, arXiv'24

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2403.05313

  Affiliations

  • Zihao Wang, N/A
  • Anji Liu, N/A
  • Haowei Lin, N/A
  • Jiaqi Li, N/A
  • Xiaojian Ma, N/A
  • Yitao Liang, N/A

    Abstract

  • We explore how iterative revising a chain of thoughts with the help ofinformation retrieval significantly improves large language models' reasoningand generation ability in long-horizon generation tasks, while hugelymitigating hallucination. In particular, the proposed method --retrieval-augmented thoughts (RAT) -- revises each thought step one by onewith retrieved information relevant to the task query, the current and the pastthought steps, after the initial zero-shot CoT is generated. Applying RAT toGPT-3.5, GPT-4, and CodeLLaMA-7b substantially improves their performances onvarious long-horizon generation tasks; on average of relatively increasingrating scores by 13.63% on code generation, 16.96% on mathematical reasoning,19.2% on creative writing, and 42.78% on embodied task planning. The demo pagecan be found at https://craftjarvis.github.io/RAT

    Translation (by gpt-3.5-turbo)

• 情報検索の支援を受けて思考の連鎖を反復的に修正することが、大規模言語モデルの推論および生成能力を著しく向上させ、幻覚を大幅に軽減する方法を探求する。 特に、提案された方法である「retrieval-augmented thoughts（RAT）」は、ゼロショットのCoTが生成された後、タスククエリ、現在および過去の思考ステップに関連する取得した情報を用いて、各思考ステップを1つずつ修正する。 RATをGPT-3.5、GPT-4、およびCodeLLaMA-7bに適用することで、さまざまな長期生成タスクにおいてそのパフォーマンスが大幅に向上し、コード生成では評価スコアが平均13.63%、数学的推論では16.96%、創造的な執筆では19.2%、具体的なタスク計画では42.78%増加した。 デモページはhttps://craftjarvis.github.io/RATで見つけることができる。

  Summary (by gpt-3.5-turbo)

• 大規模言語モデルの推論および生成能力を向上させ、幻覚を軽減する方法として、情報検索を利用して思考の連鎖を修正する「retrieval-augmented thoughts（RAT）」が提案された。この方法は、ゼロショットのCoTが生成された後、取得した情報を使用して各思考ステップを修正する。GPT-3.5、GPT-4、およびCodeLLaMA-7bにRATを適用することで、コード生成、数学的推論、創造的な執筆、具体的なタスク計画などのタスクでパフォーマンスが大幅に向上した。デモページはhttps://craftjarvis.github.io/RATで利用可能。

[AkihikoWatanabe]

RAGにおいてCoTさせる際に、各reasoningのstepを見直させることでより質の高いreasoningを生成するRATを提案。Hallucinationが低減し、生成のパフォーマンスも向上するとのこと。

[AkihikoWatanabe]

コンセプト自体はそりゃそうだよねという話なので、RAGならではの課題があり、それを解決した、みたいな話があるのかが気になる。