lileipisces / PEPLER

TOIS'23, Personalized Prompt Learning for Explainable Recommendation
119 stars 21 forks source link

关于tuning prompt only #1

Open zhaijianyang opened 1 year ago

zhaijianyang commented 1 year ago

大佬,在tuning prompt only时候,main.py的第79行代码执行后,模型token embedding会产生梯度,这个时候是更新了item, user, token embedding三个东西吧?

lileipisces commented 1 year ago

不是79行,是78行,传了一个freezeLM=True,整个模型的梯度就不更新了,只更新user和item embedding,不过这样效果不太好

zhaijianyang commented 1 year ago

78行后,模型的梯度不更新了,但是,执行79行之后,再查看模型梯度,会发现token embedding的required_grad==True,我看了下源码,resize_token_embedding新建立了一个nn.embedding,所以后面更新了user, item和token三个呀

lileipisces commented 1 year ago

厉害👍🏻我原本只是想更新user和item token的😂幸好整个模型没有更新