您好，能否适配下较新版的transformers、peft和pytorch框架

GCYZSL commented 1 month ago

你好，谢谢您的关注，我们将会移植到新版的transformers, peft和pytorch和提供额外的Gemma和Mistral的支持。代码整理好，我们将会尽快上传。抱歉带来的不便！谢谢您的支持！

FrankMinions commented 3 weeks ago

你好，谢谢您的关注，我们将会移植到新版的transformers, peft和pytorch和提供额外的Gemma和Mistral的支持。代码整理好，我们将会尽快上传。抱歉带来的不便！谢谢您的支持！

感谢你们的工作！但我使用你们的代码对llama模型进行MoLA微调，我发现最后训练好的模型效果不是很好（训练数据质量较高，可以排除数据原因导致），训练过程loss也在持续下降，最终趋向收敛，这个不知道你们在实际训练的过程中有没有遇到过类似的问题，并且如何解决的呢？

GCYZSL commented 2 weeks ago

抱歉回复很晚，请问您是具体是用什么种类数据训练，用的是什么loss呢？谢谢您！

GCYZSL / MoLA