[事前学習] - MoE Baseline1

[Taishi-N324]

Overview

8x1.8Bを2.1Tでスクラッチ学習を行う

Details

モデルカードPR: https://github.com/llm-jp/model-cards/pull/25

LLM-JP-MoE-2024年度後期実験計画 のBaseline1

Resources

• 計算機
  • クラスタ: Sakura (Ishikari)
  • ノード種別: gpu-small (H100x8)
  • ノード台数: 8
• コード
  • リポジトリ: https://github.com/llm-jp/moe-recipes/tree/sakura
  • コミット: 0860594e0e278d4b9cea547adb5d0177f0648a38
• 入力データ:
  • LLM-jp v3.1 コーパス: sakura:/data/llm-jp-corpus/v3.{0,1}.0
• 出力データ:
  • 保存先:
  • sakura:/data/experiments/0059_v3-8x1.8b-exp1
  • sakura:/home/shared/experiments/0059_v3-8x1.8b-exp1
  • データ内訳:
  • Zero3 checkpoint: FIXME TB （バッファ容量を含む）
• W&B ログ:
  • https://wandb.ai/llm-jp/v3-8x1.8b
• 開始日: 2024-10-DD
• 終了予定日: 2024-MM-DD （バッファ期間を含む）

[Taishi-N324]

速度の観点から、 https://github.com/llm-jp/experiments/issues/71 に移行します