[転送] - TSUBAMEのデータの転送

[Taishi-N324]

Overview

TSUBAMEにあるcheckpointの移送 https://github.com/llm-jp/experiments/issues/44 70Bのcheckpointに関しては転送済みである

Details

TSUBAME4からmdx llm-jp:/model に転送

Resources

• 計算機
  • クラスタ: mdx llm-jp クラスタ
• 入力データ:
  • zero3形式checkpoint : /gs/bs/tgh-NII-LLM/checkpoints/
  • hf形式checkpoint : /gs/bs/tgh-NII-LLM/fp32_to_hf
• 出力データ:
  • 保存先: llm-jp:/model/experiments/63/checkpoints/
  • データ内訳:
  • {name}: XXXT
• 開始日: 2024-10-20
• 終了予定日: 2024-XX-XX