[事前学習] - v3 7.3B ベースモデルのHF形式への変換

[odashi]

Overview

37 で学習したチェックポイントをHugging Face形式に変換します。

Details

モデルの詳細は #37 と同様。

Resources

• 計算機
  • クラスタ: Sakura (Ishikari)
  • ノード種別: gpu-small (H100x8)
  • ノード台数: タスクあたり 1台
• コード
  • リポジトリ: https://github.com/llm-jp/scripts/tree/main/pretrain/scripts/v3-converter
  • コミット: 38005fb7f21746c77bae52886b9c7e507b9a6d27
• 入力データ:
  • Megatron-LM checkpoints: sakura/home/shared/experiments/0037_v3-7.3b-exp1/checkpoints
• 出力データ:
  • 保存先: sakura:/home/shared/experiments/0040_v3-7.3b-exp1-hf
  • データ内訳:
  • Hugging Face checkpoints: xxx TB （バッファ容量を含む）
• W&B ログ:
  • なし
• 開始日: 2024-09-14
• 終了予定日: 2024-10-15 （バッファ期間を含む）
  • 学習終了まで継続的に処理します。