[事前学習] - 継続事前学習の学習率スケジューリング検討 (LLM-jp-3 13B)

[odashi]

Overview

38 と同じ実験を LLM-jp-3 13Bで実施する。

Details

基本的には下記の設定を試す。

• 1周目と同じスケジューリング (0 -> 2e-4 -> 2e-5)
• 2e-5 -> 2e-6

Resources

• 計算機
  • クラスタ: Sakura (Ishikari)
  • ノード種別: gpu-small (H100x8)
  • ノード台数: 8
• コード
  • リポジトリ: https://github.com/llm-jp/scripts/tree/3709cc05ba7b280ff4f8ee28c14365a0f84bd116
  • コミット: FIXME xxxxxx
• 入力データ:
  • LLM-jp corpus v3
• 出力データ:
  • 保存先: {cluster}:/data/experiments/{number}
  • データ内訳:
  • {name}: 400TB
• W&B ログ:
  • https://wandb.ai/{team}/{project} FIXME
• 開始日: 2024-10-25
• 終了予定日: 2024-12-31