Batch Prompting: Efficient Inference with Large Language Model APIs, Zhoujun Cheng+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2301.08721

  Affiliations

  • Zhoujun Cheng, N/A
  • Jungo Kasai, N/A
  • Tao Yu, N/A

    Abstract

  • Performing inference on large volumes of samples with large language models(LLMs) can be computationally and financially costly in industry and real-worlduse. We propose batch prompting, a simple yet effective prompting approach thatenables the LLM to run inference in batches, instead of one sample at a time.Our method reduces both token and time costs while retaining downstreamperformance. We theoretically demonstrate that under a few-shot in-contextlearning setting, the inference costs decrease almost inverse linearly with thenumber of samples in each batch. We extensively validate the effectiveness ofbatch prompting on ten datasets across commonsense QA, arithmetic reasoning,and NLI/NLU: batch prompting significantly~(up to 5x with six samples in batch)reduces the LLM (Codex) inference token and time costs while achieving betteror comparable performance. For state-of-the-art Chat-based LLMs, e.g., GPT-3.5and GPT-4, we show the benefits of batch prompting also hold. Further analysisshows that the number of samples in each batch and the complexity of tasksaffect its performance. Moreover, batch prompting can be applied acrossdifferent reasoning methods using LLMs. Our code can be found at the sitehttps://github.com/xlang-ai/batch-prompting.

    Translation (by gpt-3.5-turbo)

• 大規模な言語モデル（LLMs）を用いた大量のサンプルに対する推論は、産業界や実世界での使用では計算コストと財務コストがかかる場合があります。 私たちは、バッチプロンプティングというシンプルで効果的なプロンプティング手法を提案します。 これにより、LLMは1つのサンプルではなくバッチで推論を実行することができます。 私たちの手法は、トークンコストと時間コストを削減しながら、ダウンストリームのパフォーマンスを維持します。 我々は理論的に示すとともに、少数のコンテキスト学習設定下では、推論コストはバッチ内のサンプル数とほぼ逆の線形で減少することを示します。 我々は、コモンセンスQA、算術推論、NLI/NLUの10つのデータセットでバッチプロンプティングの効果を広範に検証しました。 バッチプロンプティングは、LLM（Codex）の推論トークンと時間コストを大幅に削減し、より良いまたは比較可能なパフォーマンスを達成します（バッチ内のサンプル数が6つの場合、最大で5倍の削減）。 また、GPT-3.5やGPT-4などの最先端のチャットベースのLLMにおいても、バッチプロンプティングの利点が示されます。 さらなる分析では、バッチ内のサンプル数とタスクの複雑さがパフォーマンスに影響を与えることが示されました。 さらに、バッチプロンプティングは、LLMsを使用した異なる推論方法に適用することができます。 コードはhttps://github.com/xlang-ai/batch-promptingで入手できます。

  Summary (by gpt-3.5-turbo)

• 大規模な言語モデル（LLMs）を効果的に使用するために、バッチプロンプティングという手法を提案します。この手法は、LLMが1つのサンプルではなくバッチで推論を行うことを可能にし、トークンコストと時間コストを削減しながらパフォーマンスを維持します。さまざまなデータセットでの実験により、バッチプロンプティングがLLMの推論コストを大幅に削減し、良好なパフォーマンスを達成することが示されました。また、バッチプロンプティングは異なる推論方法にも適用できます。詳細はGitHubのリポジトリで確認できます。

[AkihikoWatanabe]

10種類のデータセットで試した結果、バッチにしても性能は上がったり下がったりしている。著者らは類似した性能が出ているので、コスト削減になると結論づけている。

[AkihikoWatanabe]

Batch sizeが大きくなるに連れて性能が低下し、かつタスクの難易度が高いとパフォーマンスの低下が著しいことが報告されている。また、contextが長ければ長いほど、バッチサイズを大きくした際のパフォーマンスの低下が著しい。