llm-jp / experiments

Issue-Only Pretrain Task Management Repository

0 stars 0 forks source link

[事前学習] - v3コーパスを使用したBERTの事前学習 #73

Open k141303 opened 3 weeks ago

k141303 commented 3 weeks ago

Overview

LLM-jp-3 BERTモデル作成方針

Details

モデルカードPR: FIXME

v3コーパスを使用して、BERTの事前学習を行います。元に学習に用いるスクリプトの検討を行います。取り急ぎMegatron-LMを検討しています。

Resources

計算機
- クラスタ: llm-jp-nvlink
- ノード種別: gpu
- ノード台数: 1
コード
- リポジトリ: FIXME https://github.com/{org}/{repo}
- コミット: FIXME xxxxxx
入力データ:
- {name}: {physical path} FIXME
出力データ:
- 保存先: sakura:/home/shared/experiments/{number}
- データ内訳:
- チェックポイント: 100 GB
W&B ログ:
- https://wandb.ai/{team}/{project} FIXME
開始日: YYYY-MM-DD FIXME
終了予定日: YYYY-MM-DD FIXME