Llemma: An Open Language Model For Mathematics, Zhangir Azerbayev+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2310.10631

  Affiliations

  • Zhangir Azerbayev, N/A
  • Hailey Schoelkopf, N/A
  • Keiran Paster, N/A
  • Marco Dos Santos, N/A
  • Stephen McAleer, N/A
  • Albert Q. Jiang, N/A
  • Jia Deng, N/A
  • Stella Biderman, N/A
  • Sean Welleck, N/A

    Abstract

  • We present Llemma, a large language model for mathematics. We continuepretraining Code Llama on the Proof-Pile-2, a mixture of scientific papers, webdata containing mathematics, and mathematical code, yielding Llemma. On theMATH benchmark Llemma outperforms all known open base models, as well as theunreleased Minerva model suite on an equi-parameter basis. Moreover, Llemma iscapable of tool use and formal theorem proving without any further finetuning.We openly release all artifacts, including 7 billion and 34 billion parametermodels, the Proof-Pile-2, and code to replicate our experiments.

    Translation (by gpt-3.5-turbo)

• 私たちは、数学のための大規模な言語モデルであるLlemmaを提案します。Proof-Pile-2と呼ばれる科学論文、数学を含むウェブデータ、数学コードの混合物を用いて、Code Llamaを事前学習し、Llemmaを得ました。MATHベンチマークでは、Llemmaは既知のオープンベースモデルおよび未公開のMinervaモデルスイートを含むすべてのモデルを、同等のパラメータ基準で上回りました。さらに、Llemmaは追加のfine-tuningなしでツールの使用や形式的な定理証明が可能です。私たちは、7兆パラメータモデルと34兆パラメータモデル、Proof-Pile-2、および実験の再現に必要なコードを含むすべてのアーティファクトを公開します。

  Summary (by gpt-3.5-turbo)

• 私たちは、数学のための大規模な言語モデルであるLlemmaを提案します。Llemmaは、Proof-Pile-2と呼ばれるデータセットを用いて事前学習され、MATHベンチマークで他のモデルを上回る性能を示しました。さらに、Llemmaは追加のfine-tuningなしでツールの使用や形式的な定理証明が可能です。アーティファクトも公開されています。

[AkihikoWatanabe]

CodeLLaMAを200B tokenの数学テキスト（proof-pile-2データ;論文、数学を含むウェブテキスト、数学のコードが含まれるデータ）で継続的に事前学習することでfoundation modelを構築

約半分のパラメータ数で数学に関する性能でGoogleのMinervaと同等の性能を達成

[AkihikoWatanabe]

元ツイート: https://twitter.com/zhangir_azerbay/status/1714098823080063181

[AkihikoWatanabe]

まだ4-shotしてもAcc.50%くらいなのか。