search

baichuan-inc / Baichuan2

A series of large language models developed by Baichuan Intelligent Technology
https://huggingface.co/baichuan-inc
Apache License 2.0
4.09k stars 295 forks source link

baichuan-7b和baichuan2-7b的模型结构的区别在哪里，只有normhead么，可以直接将baichuan2-7b的参数加载到baichuan-7b上对么 #80

Open wuyaoxuehun opened 1 year ago

wuyaoxuehun commented 1 year ago

baichuan-7b和baichuan2-7b的模型结构的区别在哪里，只有normhead么，可以直接将baichuan2-7b的参数加载到baichuan-7b上对么

jameswu2014 commented 1 year ago

是的，另外位置编码的地方有个小调整，主要是为了更高的数值精度计算，不影响参数的加载，你可以对照代码看。

wuyaoxuehun commented 1 year ago

是的，另外位置编码的地方有个小调整，主要是为了更高的数值精度计算，不影响参数的加载，你可以对照代码看。

但是加载后也没办法直接用baichuan-7b原来的代码进行生成对吧？