search

OpenMOSS / CoLLiE

Collaborative Training of Large Language Models in an Efficient Way
https://openlmlab-collie.readthedocs.io
Apache License 2.0
405 stars 58 forks source link

你好，怎么让保存的模型能够分片，而不是保存一个几十G的大模型 #143

Open 459737087 opened 9 months ago

459737087 commented 9 months ago

你好，怎么让保存的模型能够分片，而不是保存一个几十G的大模型。 我看了一遍这里面的参数，但是发现是完整保存的，而不是分片的，这个有办法吗

KaiLv69 commented 9 months ago

你好，现在在使用流水线并行时候会按照rank来保存模型到不同文件，其他情况都会保存到同一个文件里

459737087 commented 9 months ago

我看到transformer有一个函数是save_pretrained，里面的参数带分片的，但是不知道怎么继承过来比较好 https://github.com/huggingface/transformers/blob/131a528be02e1fa2d27f215920d2fd69e1d246cd/docs/source/en/big_models.md?plain=1#L64 如果直接拿来用肯定有冲突，有什么好的办法吗 @KaiLv69