search

liguodongiot / llm-action

本项目旨在分享大模型相关技术原理以及实战经验。
https://www.zhihu.com/column/c_1456193767213043713
Apache License 2.0
9.1k stars 885 forks source link

llama2权重转换 #11

Open zdaiot opened 7 months ago

zdaiot commented 7 months ago

您好，感谢您优秀的工作，想问下，如何将将llama2的官方权重，转换为megatron-deepspeed格式啊？

https://github.com/liguodongiot/llm-action/tree/main/train/megatron-deepspeed 这里虽然说了转换，但是好像没有说怎么转换称为megatron-deepspeed格式