[チューニング] - LLMCのチューニング実験

[Taka008]

Overview

LLMCのチューニング実験

Details

LLMCのチューニング実験

Resources

• 計算機
  • クラスタ: mdx llm-jp-nvlink, Sakura (Ishikari)
  • ノード種別: gpu (A100x8), gpu-small (H100x8)
  • ノード台数: 2 - 8
• コード
  • リポジトリ: https://github.com/llm-jp/llm-jp-nemo-aligner
  • コミット: 2c87c3f
• 出力データ:
  • 保存先:
  • sakura:/data/experiments/0025_llmc_tuning
  • llm-jp-nvlink:/model/experiments/0025_llmc_tuning
  • データ内訳:
  • sakura: 15TB
  • llm-jp-nvlink: 1.7TB
• 開始日: 2024-08-23
• 終了日: 2024-10-08

[odashi]

こちらはcloseでよいでしょうか？

[Taka008]

今回の公開用の学習設定はこちらの実験で決めたものなので，公開用モデルの作成まではこちらの番号で進めます

[odashi]

@Taka008 モデル公開完了しているので、問題なければクローズでお願いします。

[Taka008]

@odashi こちらの環境で訓練した最後のモデルである 172B alpha1,2 をリリースしたためクローズします sakura のデータは /home 以下から /data 以下へ移しました