[評価] - v3 172B exp2 ベースモデル評価

[k141303]

Overview

アブレーション論文のため、v3 172B exp1 ベースモデルの評価を行います。

Details

HF変換済みモデルを用いてx step毎(要相談)のチェックポイントごとに評価を行います。

Resources

• 計算機
  • クラスタ: Sakura (Ishikari)
  • ノード種別: gpu-small or gpu-debug (H100x8)
  • ノード台数: 実験あたり 1
• コード
  • https://github.com/llm-jp/scripts/tree/e75bb4e63fd763d099c6af86298e6628c0e70792
• 評価データ:
  • Checkpoint: sakura:/home/shared/experiments/00xx_v3-172b-exp1-hf FIXME
  • Evaluator: llm-jp-eval-v1.3.1
• 出力データ:
  • 保存先: sakura:/home/shared/experiments/0053_v3-172b-exp1-eval
• W&B ログ:
  • https://wandb.ai/llm-jp-eval/0053_v3-172b-exp1
• 開始日: 2024-10-07
• 終了予定日: 2024-10-10