感觉好久没更新了

thunlp / OpenDelta

A plug-and-play library for parameter-efficient-tuning (Delta Tuning)

https://opendelta.readthedocs.io

Apache License 2.0

1k stars 80 forks source link

Open 2catycm opened 8 months ago

2catycm commented 8 months ago

我很喜欢你们的接口设计，我觉得隔壁的huggingface/peft库设计的不好

2catycm commented 8 months ago

delta模型本身应该和原本的模型独立存在

两边的参数独立保存。这点opendelta做的挺好的，可以单独看到delta的参数列表。
为什么要独立存在呢？因为lora这样的模型，delta作为一个认知功能，虽然来自于某个backbone的基础上训练出来，但是可以操作到别的模型上面，影响其他模型的认知功能。而且这样freeze和unfreeze的逻辑很直观

2catycm commented 8 months ago

但是opendelta和peft都不太支持视觉的模型，都是在支持nlp的peft，所以我最近自己重新写了一个库，欢迎来互相交流一下。我用了Pytorch的hook特性，感觉可以更加简洁和通用一些。

2catycm commented 8 months ago

opendelta的写法大概是在basemodel，basedelta里面有个insert module，然后我用torch的hook去实现类似的操作。而peft大概喜欢用replace module，直接setattr替换掉