llm-jp / experiments

Issue-Only Pretrain Task Management Repository

0 stars 0 forks source link

[マルチモーダルWG] - VLMモデルの評価 #58

Closed speed1313 closed 1 month ago

speed1313 commented 1 month ago

Overview

VLMモデルの評価

Details

llm-jp-eval-mmを用いてVLMモデルの評価を行う. OOM回避のためSakuraのH100を用いる.

Resources

計算機
- クラスタ: FIXME Sakura
- ノード種別: FIXME gpu-debug
- ノード台数: FIXME 1
コード
- リポジトリ: FIXME https://github.com/{org}/{repo}
- コミット: FIXME xxxxxx
評価データ:
- {name}: {physical path} FIXME llm-jp-eval-v1.3.1: cluster:/path/to/dataset
出力データ:
- 保存先: `sakura:/data/experiments/0058_eval_mm/
W&B ログ:
- https://wandb.ai/{team}/{project} FIXME
開始日: 2024-10-11
終了予定日: YYYY-MM-DD