search

llm-jp / scripts

Apache License 2.0
1 stars 1 forks source link

Add hf2megatron converter #55

Open YumaTsuta opened 1 month ago

YumaTsuta commented 1 month ago

This PR add model converter from hugging face format into megatron-LM format

YumaTsuta commented 1 month ago

実行時にMegatron-LMのコードが動くのですが、args.save_intervalを設定せずに動かすためスクリプトを改変した箇所でエラーが発生します。 この問題を解決してからPRをreadyに変更予定。 該当部分をコメントアウトすれば動きます。

YumaTsuta commented 1 month ago

新規追加するスクリプト名が hf2megatron.sh のため、既存のmegatron -> HF形式変換スクリプト converter.shを megatron2hf.sh にしても良いと思います。