search

tanganke / peta

Code for paper "Parameter Efficient Multi-task Model Fusion with Partial Linearization"
https://arxiv.org/abs/2310.04742
14 stars 1 forks source link

关于微调的性能问题 #3

Open ttthhz opened 1 day ago

ttthhz commented 1 day ago

感谢您的工作。请问sun397数据集按照论文中的配置为什么lora和-lora1性能会很低呢，好像只有0.2左右。

tanganke commented 1 day ago

vit-b/16 的 checkpoints：ViT-B-16.zip

能否提供你finetune的更多细节？

ttthhz commented 1 day ago

好的谢谢 就是按照库里的clip微调的代码 然后用默认的config 其他数据集的微调结果都和论文基本一致 只有sun397用lora的方法性能不好 是这个数据集需要用别的config吗

tanganke commented 1 day ago

应该不用吧

ttthhz commented 13 hours ago

可以问问您使用的是哪个版本的peft吗 'base_model.model.encoder.layers.3.self_attn.q_proj.model.lora_A.default.weight'您的版本加入lora后是这样 而我的是'base_model.model.encoder.layers.3.self_attn.q_proj.lora_A.default.weight'

tanganke commented 12 hours ago

peft 用新版本是有问题的。我用的好像是0.6。还有一个已知的问题就是老版本的LoRa Linear是从nn.Linear 继承的，但是新版本不是。可能需要改一些代码