Toolformer: Language Models Can Teach Themselves to Use Tools

[Kosuke-Yamada]

https://proceedings.neurips.cc/paper_files/paper/2023/hash/d842425e4bf79ba039352da0f658a906-Abstract-Conference.html

[Kosuke-Yamada]

LLMが必要に応じてAPIを呼び出し利用できるようにする手法Toolformer。 電卓やQAシステム、検索エンジン、翻訳機、カレンダーを呼び出して、いくつかのタスクでゼロショット性能向上。 手法の大まかな流れは、テキストを生成する中でトークンと、QA(Where was Joe Biden born?)などのAPIを呼ぶ引数と関数を生成して、実際のAPIをよび、その結果と、トークンを挟んで、通常のデコードを行う。

手法はシンプルだが、タスクとAPIのチョイスが良い。 データセット作成から行なっているのもすごい。 研究の限界は、複数のAPIを連鎖的に使用できないことと、APIの選択に関する工夫が少なく効率が悪いこと。