[事前学習] - MoE Baseline1

[Taishi-N324]

Overview

8x1.8Bを2.1Tでスクラッチ学習を行う

Details

モデルカードPR: https://github.com/llm-jp/model-cards/pull/25

LLM-JP-MoE-2024年度後期実験計画 のBaseline1 Megatron-LMでの学習

Resources

• 計算機
  • クラスタ: Sakura (Ishikari)
  • ノード種別: gpu-small (H100x8)
  • ノード台数: 8
• コード
  • リポジトリ: https://github.com/llm-jp/Megatron-LM/tree/1250d2cbeb8686171a5ab026d1fc40a25b625bc5
  • コミット: 1250d2cbeb8686171a5ab026d1fc40a25b625bc5
• 入力データ:
  • LLM-jp v3.1 コーパス: sakura:/data/llm-jp-corpus/v3.{0,1}.0
• 出力データ:
  • 保存先:
  • sakura:/data/experiments/0071_v3-8x1.8b-exp1
  • sakura:/home/shared/experiments/0071_v3-8x1.8b-exp1
  • データ内訳:
  • checkpoint: FIXME TB （バッファ容量を含む）
• W&B ログ:
  • https://wandb.ai/llm-jp/v3-8x1.8b
• 開始日: 2024-10-DD
• 終了予定日: 2024-MM-DD （バッファ期間を含む）