llm-jp / scripts

Apache License 2.0

1 stars 1 forks source link

Closed YumaTsuta closed 2 months ago

YumaTsuta commented 3 months ago

v3 model用 megatron -> huggingface コンバーターを追加

YumaTsuta commented 3 months ago

１行ごとのデバッグが完了。通しでの確認中（環境構築中）。

YumaTsuta commented 3 months ago

12 への対応前提のため、動作確認時には `environment/src/llm-jp-tokenizer` で v3.0b2 ブランチに事前に切り替えてください

git fetch
git checkout v3.0b2

YumaTsuta commented 3 months ago

YumaTsuta commented 2 months ago

コメントへ対応しました。 SBATCH関連の設定は最低限の要求cpuが未検証ですメモリは172Bに必要な300GBほどに設定しました（が、うまく設定できていなさそう？）

YumaTsuta commented 2 months ago

1ノード占有は勿体無い気もしますが処理時間が短い(13Bで5分以内, 172Bで約3時間)ので問題ないかと思いsuggestionに変更しました