search

GanjinZero / RRHF

[NIPS2023] RRHF & Wombat
780 stars 49 forks source link

labels != -100的作用是什么 #38

Open LSX-Sneakerprogrammer opened 11 months ago

LSX-Sneakerprogrammer commented 11 months ago

您好，我想请问一下在代码中labels != -100的作用是什么。根据论文中的理解，mask的作用应该是遮盖query的以计算response的长度，但是按照代码中的写法，似乎是固定的max_length长度。希望您能够帮助解答，感谢！

GanjinZero commented 11 months ago

计算response长度；如果实现不符合预期就是bug

LSX-Sneakerprogrammer commented 11 months ago

计算response长度；如果实现不符合预期就是bug

感谢您的解答！我想再问一下，对response计算rrhf_loss和ft_loss时，是需要把query和padding部分都mask掉吗，还是只mask掉query部分呢

GanjinZero commented 11 months ago

都mask