Overview

VILAの学習方法を参考にマルチモーダルモデルの学習を行います。

Details

VILAのstep-0に相当する学習を行なったモデルに対して、step-1に相当する学習を行います。 https://arxiv.org/abs/2312.07533

モデルモデルの構成要素モデル / アーキテクチャ

VIsion Encoder google/siglip-so400m-patch14-384

Projector mlp2x_gelu

LLM llm-jp/llm-jp-3-13b-instruct
データ (画像数) 英語データセット日本語データセット

interleaved mmc4-core (6M) (6M)

pair coyo (6M) (6M)

データ (画像数)	英語データセット	日本語データセット
interleaved	mmc4-core (6M)	(6M)
pair	coyo (6M)	(6M)

計算機
- クラスタ: mdx (llm-jp-nvlink)
- ノード種別: gpu (A100x8)
- ノード台数: 8 (OOMが発生する場合、増やす可能性あり)
コード
- リポジトリ: https://github.com/llm-jp/VILA-ja
- コミット: 926884e0347b67a82b1ef7143e81a4a0df4b000c
入力データ:
- 英語pair: llm-jp-nvlink:/model/sasagawa/VILA-ja/playground/data/coyo-700m/pkl03-split
- 英語interleaved: llm-jp-nvlink:/model/sasagawa/VILA-ja/playground/data/mmc4-core/pkl-core-limit-tokens
- 日本語pair: llm-jp-nvlink:/model/sasagawa/VILA-ja/playground/data/alt_pair_ja/pkl02
- 日本語interleaved: llm-jp-nvlink:/model/sasagawa/VILA-ja/playground/data/mmc4_ja/pkl-limit-tokens
出力データ:
- 保存先: llm-jp-nvlink:/model/experiments/0043_vila_step1/
- データ内訳:
- checkpoints: 150GB （バッファ容量を含む）
W&B ログ:
- 移行予定
開始日: 2024-09-28
終了予定日: 2024-10-04 （バッファ期間を含む）