Open Cerberous opened 1 month ago
请问 Internevo是否支持tied_embedding?有的话怎么使用呢?
@zigzagcai 帮忙看一下
目前InternEvo内置的模型(InternLM/InternLM2)没有使用tied word embedding 并且,我查看了下,类似的LLaMA也没有使用tied word embedding,https://github.com/meta-llama/llama/issues/138
lm_head不和embedding一样这样的好处是什么呢?
Describe the question.
请问 Internevo是否支持tied_embedding?有的话怎么使用呢?