模型合并时报错

[enbacoo]

hf下载的模型大小和llama原版模型类似，也需要进行合并么？hf下载的模型直接推理是乱码，能否提供下推理时prompt格式？合并的时候llama模型是需要用hf格式么，我尝试合并报错，'LlamaForCausalLM' object has no attribute 'embed_tokens'

[SparkJiao]

是的，我们提供的HF格式的权重也是与原版权重的差值。需要你先下载LLaMA HF版本的权重，然后执行合并脚本。你可以转换成HF版本后再合并，然后再重新试一下推理是不是还有问题。

关于prompt我们没有使用特殊的格式，直接提问就可以，如果你想知道我们评测阅读理解时用的prompt可以去config文件里找一下对应数据集的class，prompt默认值被写在了class里。

[enbacoo]

是的，我们提供的HF格式的权重也是与原版权重的差值。需要你先下载LLaMA HF版本的权重，然后执行合并脚本。你可以转换成HF版本后再合并，然后再重新试一下推理是不是还有问题。

关于prompt我们没有使用特殊的格式，直接提问就可以，如果你想知道我们评测阅读理解时用的prompt可以去config文件里找一下对应数据集的class，prompt默认值被写在了class里。

我使用了llama hf的权重，使用llama-panda-zh-coig-7b-delta进行合并，报错'LlamaForCausalLM' object has no attribute 'embed_tokens'，在脚本昨天提交的fix处报错，transformers版本是最新的

[xxxxuee]

我使用hf格式的llama合并也报了一样的错

[SparkJiao]

Hi, all

问题已经被修复了，现在测试过可以成功合并了，之前在embed_tokens前少了一个.model的前缀。请各位同学重新pull一下最新的修改再做尝试。如果推理测试的效果不好，可以把一些bad case另外开一个issue发上来。

感谢各位同学的关注！

[enbacoo]

Hi, all

问题已经被修复了，现在测试过可以成功合并了，之前在embed_tokens前少了一个.model的前缀。请各位同学重新pull一下最新的修改再做尝试。如果推理测试的效果不好，可以把一些bad case另外开一个issue发上来。

感谢各位同学的关注！

修改完的确可以合并了，但之前有个问题又出了，size mismatch for model.embed_tokens.weight: copying a param with shape torch.Size([32001, 4096]) from checkpoint, the shape in current model is torch.Size([32000, 4096]). size mismatch for lm_head.weight: copying a param with shape torch.Size([32001, 4096]) from checkpoint, the shape in current model is torch.Size([32000, 4096]).我看说之前已经fix了。

[SparkJiao]

现在可以了 可以再试试 我load过模型和跑过inference了都没什么问题了

Thanks！

[enbacoo]

现在可以了 可以再试试 我load过模型和跑过inference了都没什么问题了

Thanks！

好嘞，可以了