[事前学習] - 172B-exp1 checkpointのHugging Face形式への変換

[k141303]

Overview

172B-exp1のチェックポイントを変換(megatron→HF)します。

53 に関連します。

Details

53 を参照。

Resources

• 計算機
  • クラスタ: Sakura (Ishikari)
  • ノード種別: gpu (H100x8)
  • ノード台数: 1
• コード
  • リポジトリ: https://github.com/llm-jp/scripts/tree/main/pretrain/scripts/v3-converter
  • コミット: d2866fd3cd556ac63958cdd95dfb46d76268f79a
• 入力データ:
  • Megatron-LM checkpoints: sakura:/data/experiments/18
• 出力データ:
  • 保存先: sakura:/data/experiments/18
  • データ内訳:
  • Hugging Face checkpoints: ? TB （バッファ容量を含む）
• W&B ログ:
  • なし
• 開始日: 2024-10-07
• 終了予定日: 2024-10-10 （バッファ期間を含む）
  • 学習終了まで継続的に処理します。