作者您好，想问一下在推理时，是把每一个LoRA的权重都融入进pretrained weights中吗

GCYZSL / MoLA

89 stars 3 forks source link

Closed suntea233 closed 2 days ago

suntea233 commented 5 days ago

但是训练时却又是按照router分配权重，这种推理时与训练时不一致会导致模型性能变差吗？

GCYZSL commented 3 days ago

您好，谢谢您的提问！您的理解是对的，在推理是不是把LoRA的权重融入进pretrained model，因为存在router，所以需要计算每个experts的权重。因此，模型的性能保持。谢谢！

suntea233 commented 3 days ago

哦哦哦，那就是推理时与训练时保持一致是吗，没有执行merge的操作？

GCYZSL commented 2 days ago

是的！

suntea233 commented 2 days ago

好的好的，谢谢！