Closed another1s closed 3 years ago
您好!
我这边下载了Chinese_roformer-sim-char-ft_L12_H-768_A-12这个模型的权重,但是在加载时,vocab.txt会一直说无法用utf-8编码load。我对比了一下simbert1的vocab文件好像没有这种情况。
我直接读取simbert1的vocab文件作为替代进行生成时,基本都是生僻字(看上去就很像乱码)组成的读不通的句子。。可能是我训练不充分,也有可能是词表不一样
这里有没有办法重新提供一下utf-8编码的Chinese_roformer-sim-char-ft_L12_H-768_A-12的vocab.txt,我不确定simbert1的词表跟simbert2一模一样
万分感谢!
我自己读取两者的vocab.txt,没发现有任何的区别哦
非常抱歉,我大概是网络问题,下载时链接不稳定还是怎么的。。重新下载后就变正常了 问题解决了 多谢!
Chinese_roformer-sim-char-ft_L12_H-768_A-12下载链接打不开了,能否提供一下下载好的压缩包?
下载链接已恢复
您好!
我这边下载了Chinese_roformer-sim-char-ft_L12_H-768_A-12这个模型的权重,但是在加载时,vocab.txt会一直说无法用utf-8编码load。我对比了一下simbert1的vocab文件好像没有这种情况。
我直接读取simbert1的vocab文件作为替代进行生成时,基本都是生僻字(看上去就很像乱码)组成的读不通的句子。。可能是我训练不充分,也有可能是词表不一样
这里有没有办法重新提供一下utf-8编码的Chinese_roformer-sim-char-ft_L12_H-768_A-12的vocab.txt,我不确定simbert1的词表跟simbert2一模一样
万分感谢!