llm-jp / experiments

Issue-Only Pretrain Task Management Repository

0 stars 0 forks source link

[マルチモーダルWG] - relaion-2b-en-research-safeのgemmaによる翻訳 #45

Closed speed1313 closed 1 month ago

speed1313 commented 2 months ago

Overview

relaion-2b-en-research-safeのgemmaによる翻訳

Details

マルチモーダルWGにおいて, CLIPのデータ整備のために, ReLAION-5Bのcaptionをgemma-2-9b-it で日本語に翻訳

Resources

計算機
- クラスタ: llm-jp-nvlink
- ノード種別: FIXME gpu
- ノード台数: FIXME 8
コード
- リポジトリ: FIXME https://github.com/{org}/{repo}
- コミット: FIXME xxxxxx
評価データ:
- {name}: {physical path} FIXME llm-jp-eval-v1.3.1: cluster:/path/to/dataset
出力データ:
- 保存先: /model/i-sugiura/relaion2B-en-research-safe-ja/
W&B ログ:
- https://wandb.ai/{team}/{project} FIXME
開始日: 2024-9-26
終了予定日: 2024-10-6

speed1313 commented 2 months ago

TODO: output dirを/model/experiments/0045_{}に移動

speed1313 commented 1 month ago

翻訳データをHFにあげる