Open Yhw109 opened 3 months ago
您好,很感谢您的开源。我想询问一下,我注意到目前的模型是在3个数据集的训练集上微调的,如果我想要让这个模型在某一个特定的数据集有更好的表现,有必要在这个数据集的训练集上做进一步的微调吗? 如果这一步微调是有必要的,大概训练多少个epoch是比较合适的呢?以及40GB或者32GB的GPU能支持batch=8或者16的训练吗(还是需要使用LoRA等方法,或者冻结Roberta的参数只微调MLP) 感谢您的耐心阅读和回复。
您好,很感谢您的开源。我想询问一下,我注意到目前的模型是在3个数据集的训练集上微调的,如果我想要让这个模型在某一个特定的数据集有更好的表现,有必要在这个数据集的训练集上做进一步的微调吗? 如果这一步微调是有必要的,大概训练多少个epoch是比较合适的呢?以及40GB或者32GB的GPU能支持batch=8或者16的训练吗(还是需要使用LoRA等方法,或者冻结Roberta的参数只微调MLP) 感谢您的耐心阅读和回复。