メルテミ：ギリシャ語初のオープンな大規模言語モデル

[yukihiko-fuyuki]

タイトル: メルテミ：ギリシャ語初のオープンな大規模言語モデル

リンク: https://arxiv.org/abs/2407.20743

概要:

Meltemi 7Bは、ギリシャ語初のオープンな大規模言語モデルであり、その開発と機能について説明します。70億のパラメータを持つMeltemi 7Bは、400億トークンのギリシャ語コーパスでトレーニングされています。Meltemi 7Bの開発では、ギリシャ語コーパスを用いた継続的な事前トレーニングにより、Mistralを適応させました。Meltemi 7Bは、2023年9月までの最新情報を含んでいます。さらに、ギリシャ語の指示コーパスを翻訳およびキュレーションし、Meltemi 7B Instructというチャットモデルの指示チューニングに使用しました。Meltemi 7B Instructでは、アライメントと有害コンテンツの削除に特に注意が払われています。開発されたモデルは、収集された幅広い評価コーパスで評価され、プロンプトと応答の例が示されています。Meltemi 7BとMeltemi 7B Instructはどちらも、Apache 2.0ライセンスの下でhttps://huggingface.co/ilspから入手できます。

[yukihiko-fuyuki]

@yukihiko-fuyuki が以下のラベルを提案し、適用しました：

• 大規模言語モデル
• 新機能
• ギリシャ語

以下の新しいラベルが作成され、適用されました：

• ギリシャ語

[yukihiko-fuyuki]

論文要約

論文要約: メルテミ：ギリシャ語初のオープンな大規模言語モデル

• メルテミ 7Bは、ギリシャ語を扱う初のオープンソースの大規模言語モデルです。
• 70億個のパラメータを持ち、400億トークンの大規模なギリシャ語データで学習しました。
• 既存の言語モデルMistralをベースに、ギリシャ語データによる追加学習で性能を向上させています。
• 2023年9月までの最新情報を含むデータセットで学習しています。
• Meltemi 7B Instructは、ユーザーの指示に沿って回答を生成するチャットモデルです。
• 指示への正確な応答と有害なコンテンツの生成抑制に注力して開発されました。
• さまざまな評価データセットを用いて性能が検証され、論文では具体的な入力と出力例も示されています。
• Meltemi 7BとMeltemi 7B InstructはどちらもApache 2.0ライセンスのもと、Hugging Faceプラットフォーム(https://huggingface.co/ilsp)で公開されています。