Open ztang07 opened 3 years ago
如图所示，segs的长度会按照句子的字长度进行padding，但是segs基于原句子进行分词，其长度索引并不能直接对应原句子的字。 比如，segs[0]可能对应原句子中的chars[0] + chars[1] + chars[2]，这样经过模型的建模之后对应位置的logits好像有影响，decode时，该位置索引的logits从直观上看起来并不直接对应原来这个位置的某个字。
如图所示，segs的长度会按照句子的字长度进行padding，但是segs基于原句子进行分词，其长度索引并不能直接对应原句子的字。 比如，segs[0]可能对应原句子中的chars[0] + chars[1] + chars[2]，这样经过模型的建模之后对应位置的logits好像有影响，decode时，该位置索引的logits从直观上看起来并不直接对应原来这个位置的某个字。