search

InternLM / InternEvo

Apache License 2.0
262 stars 44 forks source link

[QA] Internevo是否支持tied_embedding? #267

Open Cerberous opened 1 month ago

Cerberous commented 1 month ago

Describe the question.

请问 Internevo是否支持tied_embedding?有的话怎么使用呢？

sunpengsdu commented 1 month ago

@zigzagcai 帮忙看一下

zigzagcai commented 1 month ago

目前InternEvo内置的模型（InternLM/InternLM2）没有使用tied word embedding 并且，我查看了下，类似的LLaMA也没有使用tied word embedding，https://github.com/meta-llama/llama/issues/138

divisionblur commented 1 month ago

lm_head不和embedding一样这样的好处是什么呢？