请问如何微调不同size的模型

jingyaogong / minimind

「大模型」3小时完全从0训练26M的小参数GPT，个人显卡即可推理训练！

https://jingyaogong.github.io/minimind

Apache License 2.0

2.7k stars 329 forks source link

Closed luckyfan-cs closed 4 weeks ago

luckyfan-cs commented 1 month ago

有什么size设置的方法吗

jingyaogong commented 1 month ago

model/LMConfig.py

512+8代表26M 768+16代表108M

luckyfan-cs commented 1 month ago

感谢回复，请问怎么自定义模型的size,比如从 50M，100M,500M, 1B,2B 到超过 7B 参数。有什么好的参数设置的方法吗

jingyaogong commented 1 month ago

感谢回复，请问怎么自定义模型的size,比如从 50M，100M,500M, 1B,2B 到超过 7B 参数。有什么好的参数设置的方法吗

参考GPT3