search

zyang1580 / CoLLM

The implementation for the work "CoLLM: Integrating Collaborative Embeddings into Large Language Models for Recommendation".
BSD 3-Clause "New" or "Revised" License
62 stars 9 forks source link

CIE tuning #8

Closed NicholasEinstein closed 5 months ago

NicholasEinstein commented 6 months ago

Hybrid Encoding 和CIE tuning的过程是不是可以看作一个prompt tuning的过程，那这个方法是只能在开源模型上使用对吗

NicholasEinstein commented 6 months ago

而且我也不太明白为什么第二阶段不冻结lora参数，这和论文提到的二阶段不再对lora模块调优似乎矛盾 rec

zyang1580 commented 6 months ago

1）可以看出是一个prompt tuning过程，在方法部分最后的“Discussion”部分有相关的讨论。闭源模型是指只能能过API访问这种么？如果是，大概率是不太好用上去。

2）截图中代码中的注释写错了，按照paper中的来就行。关于第二阶段是否tune lora在实验部分也有相关的实验。

NicholasEinstein @.***> 于2024年3月27日周三 16:35写道：

而且我也不太明白为什么第二阶段不冻结lora参数，这和论文提到的二阶段不再对lora模块调优似乎矛盾 [image: Uploading rec.png…]

— Reply to this email directly, view it on GitHub https://github.com/zyang1580/CoLLM/issues/8#issuecomment-2022208666, or unsubscribe https://github.com/notifications/unsubscribe-auth/AMO3KU4PXVIWNVKDZUHWRD3Y2KAGNAVCNFSM6AAAAABFHA3O2OVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDAMRSGIYDQNRWGY . You are receiving this because you are subscribed to this thread.Message ID: @.***>