Open Yhw109 opened 3 months ago
您好，很感谢您的开源。我想询问一下，我注意到目前的模型是在3个数据集的训练集上微调的，如果我想要让这个模型在某一个特定的数据集有更好的表现，有必要在这个数据集的训练集上做进一步的微调吗？ 如果这一步微调是有必要的，大概训练多少个epoch是比较合适的呢？以及40GB或者32GB的GPU能支持batch=8或者16的训练吗（还是需要使用LoRA等方法，或者冻结Roberta的参数只微调MLP） 感谢您的耐心阅读和回复。
您好，很感谢您的开源。我想询问一下，我注意到目前的模型是在3个数据集的训练集上微调的，如果我想要让这个模型在某一个特定的数据集有更好的表现，有必要在这个数据集的训练集上做进一步的微调吗？ 如果这一步微调是有必要的，大概训练多少个epoch是比较合适的呢？以及40GB或者32GB的GPU能支持batch=8或者16的训练吗（还是需要使用LoRA等方法，或者冻结Roberta的参数只微调MLP） 感谢您的耐心阅读和回复。