search

HuangLK / transpeeder

train llama on a single A100 80G node using 🤗 transformers and 🚀 Deepspeed Pipeline Parallelism
Apache License 2.0
208 stars 18 forks source link

生成的模型，怎么转为huggleface格式呢 #6

Closed zhangsanfeng86 closed 1 year ago

HuangLK commented 1 year ago

使用convert2hf.py脚本，使用方式：

python convert2hf.py --model_size 30B --input_dir ./output/llama-30B/global_step700 --output_dir ./output/llama_hf_30B

主要需要把原llama的config等文件（除了pytorch_model.bin.index.json和*.bin）手动copy到output_dir，之后就能直接用hf加载了

zhangsanfeng86 commented 1 year ago

谢谢