search

llm-jp / experiments

Issue-Only Pretrain Task Management Repository
0 stars 0 forks source link

[コーパス] - LLM-jp-3 172B の訓練データのダンプ #64

Open hkiyomaru opened 1 month ago

hkiyomaru commented 1 month ago

Overview

LLM-jp-3 172B の訓練データをダンプする

Details

LLM-jp-3 172B の訓練過程の分析のため，訓練データをダンプする． LLM-jp-3 172B の訓練スクリプトを，{forward,backward} の演算をスキップし，データセットの返り値をファイルに書き込むよう編集．これを LLM-jp-3 172B と同様の設定で実行．

Resources