Firefly: 大模型训练工具，支持训练Qwen2.5、Qwen2、Yi1.5、Phi-3、Llama3、Gemma、MiniCPM、Yi、Deepseek、Orion、Xverse、Mixtral-8x7B、Zephyr、Mistral、Baichuan2、Llma2、Llama、Qwen、Baichuan、ChatGLM2、InternLM、Ziya2、Vicuna、Bloom等大模型
5.9k
stars
527
forks
source link
“max_seq_length：训练时的最大长度。按照自己的设备进行设置，越长需要占用越多显存。”这个有换算规则吗？ #264
Open
sunzx8 opened 6 months ago