为什么logit向量的 vocab_size和实际使用的vocab.json 的大小不一致？

OpenMOSS / MOSS

An open-source tool-augmented conversational language model from Fudan University

https://txsun1997.github.io/blogs/moss.html

Apache License 2.0

11.92k stars 1.14k forks source link

Open gctian opened 1 year ago

gctian commented 1 year ago

vocab.json中有 106029个 Token，但是模型最终生成的logit向量的维度的 107008，为什么不一致呢？这样就会出现有些 token无法解码吧？

ioo0s commented 6 months ago

同问，我目前在多个模型中发现token的vocab_size小于generate后的logit的size，请问楼主有解决吗

ioo0s commented 6 months ago

已解决，可以参看qwen中的issues，具体原因时model中为了和128 size对齐提高运算效率，导致vocab_size在model中会大于token中实际的vocab_size。