训练资源要求

[rainskyfyy]

请问微调训练是否有显存要求呢，需要调整哪些训练参数才能满足最低要求

[TTTdas]

请问微调训练是否有显存要求呢，需要调整哪些训练参数才能满足最低要求

您好，提供的默认微调参数是在40G单卡GPU上训练的，如果您的显存比较小，可以尝试减小max_tokens，同时为了保持总batch size相同，需要相应增大update_freq的设置

[rainskyfyy]

有几个问题：

1. 默认微调参数是指140h的那个yaml文件吗？
2. 多卡训练只用调整distributed_world_size吗？
3. 使用base_audio_finetune_10h.yaml配置参数，pretrained_model为large.pt进行微调训练时，loss下降的较慢（前30个epoch都在1000以上），请问这是正常的吗？以您的经验，应该如何调整?