URL

https://arxiv.org/abs/2305.05176
Affiliations
- Lingjiao Chen, N/A
- Matei Zaharia, N/A
- James Zou, N/A
  Abstract
- There is a rapidly growing number of large language models (LLMs) that userscan query for a fee. We review the cost associated with querying popular LLMAPIs, e.g. GPT-4, ChatGPT, J1-Jumbo, and find that these models haveheterogeneous pricing structures, with fees that can differ by two orders ofmagnitude. In particular, using LLMs on large collections of queries and textcan be expensive. Motivated by this, we outline and discuss three types ofstrategies that users can exploit to reduce the inference cost associated withusing LLMs: 1) prompt adaptation, 2) LLM approximation, and 3) LLM cascade. Asan example, we propose FrugalGPT, a simple yet flexible instantiation of LLMcascade which learns which combinations of LLMs to use for different queries inorder to reduce cost and improve accuracy. Our experiments show that FrugalGPTcan match the performance of the best individual LLM (e.g. GPT-4) with up to98% cost reduction or improve the accuracy over GPT-4 by 4% with the same cost.The ideas and findings presented here lay a foundation for using LLMssustainably and efficiently.
  Translation (by gpt-3.5-turbo)
大規模言語モデル（LLMs）をクエリするための料金がかかるAPIの数が急速に増えています。私たちは、人気のあるLLM API（例：GPT-4、ChatGPT、J1-Jumbo）のクエリに関連するコストを調査し、これらのモデルが異なる価格設定構造を持ち、料金が2桁異なることを発見しました。特に、大量のクエリとテキストでLLMsを使用することは高額になる可能性があります。これに着想を得て、LLMsの推論コストを削減するためにユーザーが利用できる3つの戦略を概説し、議論します：1）プロンプトの適応、2）LLMの近似、3）LLMのカスケード。例として、私たちはFrugalGPTを提案します。これは、異なるクエリに対して異なるLLMsの組み合わせを使用してコストを削減し、精度を向上させるために使用するLLMカスケードのシンプルで柔軟な具体化です。私たちの実験は、FrugalGPTが最高の個別のLLM（例：GPT-4）と同等のパフォーマンスを提供し、コストを最大98％削減するか、同じコストでGPT-4よりも精度を4％向上させることを示しています。ここで提示されたアイデアと結果は、LLMsを持続可能かつ効率的に使用するための基盤を築いています。
Summary (by gpt-3.5-turbo)
大規模言語モデル（LLMs）の使用には高いコストがかかるため、LLMsの推論コストを削減するための3つの戦略（プロンプトの適応、LLMの近似、LLMのカスケード）を提案する。FrugalGPTという具体的な手法を紹介し、最大98％のコスト削減と4％の精度向上を実現することを示す。これにより、LLMsの持続可能な使用が可能となる。

AkihikoWatanabe / paper_notes

FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance, Lingjiao Chen+, N/A, arXiv'23 #905

URL

Affiliations

Abstract

Translation (by gpt-3.5-turbo)

Summary (by gpt-3.5-turbo)