[チューニング] - 1.7B, 3.8B, 13B の公開用モデルチューニング

[Taka008]

Overview

1.7B, 3.8B, 13B の3種の事前学習モデルの公開に際し，インストラクションチューニングを行う

Details

1.7B, 3.8B, 13B の3種の事前学習モデルの公開に際し，インストラクションチューニングを行う チューニングは基本的には同じ条件で行う 使用するデータセットは後ほど追記

Resources

• 計算機
  • クラスタ: mdx
  • ノード種別: gpu (A100x8)
  • ノード台数: 8
• コード
  • リポジトリ: FIXME https://github.com/{org}/{repo}
  • コミット: FIXME xxxxxx
• 評価データ:
  • {name}: {physical path} FIXME llm-jp-eval-v1.3.1: cluster:/path/to/dataset
• 出力データ:
  • 保存先: {cluster}:/data/experiments/{issue_id}/evaluations FIXME
• W&B ログ:
  • https://wandb.ai/{team}/{project} FIXME
• 開始日: 2024-09-17
• 終了予定日: YYYY-MM-DD