llm-jp / experiments

Issue-Only Pretrain Task Management Repository

0 stars 0 forks source link

[マルチモーダルWG] - CLIPの学習 #48

Open speed1313 opened 1 month ago

speed1313 commented 1 month ago

Overview

RELAIONデータセットを用いた日本語CLIPの学習

Details

captionを日本語に翻訳したRELAIONデータセット (2B examples) を用いてCLIPを学習します.

Resources

計算機 クラスタ: mdx (llm-jp-nvlink), sakura ノード種別: gpu (A100x8) ノード台数: 8
コード
- リポジトリ: https://github.com/llm-jp/clip-ja
入力データ:
- {name}: {physical path}
出力データ:
- 保存先: {cluster}:/data/experiments/{number}
- データ内訳:
- {name}: xxx TB （バッファ容量を含む）
W&B ログ:
- https://wandb.ai/{team}/{project} FIXME
開始日: YYYY-MM-DD
終了予定日: YYYY-MM-DD （バッファ期間を含む）