search

mymusise / ChatGLM-Tuning

基于ChatGLM-6B + LoRA的Fintune方案
MIT License
3.71k stars 443 forks source link

问题请教：将prompt token设置为-100即可不计算loss #268

Open Xiefeng69 opened 7 months ago

Xiefeng69 commented 7 months ago

finetune.py - line 38:

labels = (
    [-100] * (seq_len - 1) + ids[(seq_len - 1) :] + [-100] * (longest - ids_l)
)

请问这里设置prompt token的label为-100的逻辑是什么呀~