Open zhaijianyang opened 1 year ago
不是79行,是78行,传了一个freezeLM=True,整个模型的梯度就不更新了,只更新user和item embedding,不过这样效果不太好
78行后,模型的梯度不更新了,但是,执行79行之后,再查看模型梯度,会发现token embedding的required_grad==True,我看了下源码,resize_token_embedding新建立了一个nn.embedding,所以后面更新了user, item和token三个呀
厉害👍🏻我原本只是想更新user和item token的😂幸好整个模型没有更新
大佬,在tuning prompt only时候,main.py的第79行代码执行后,模型token embedding会产生梯度,这个时候是更新了item, user, token embedding三个东西吧?