search

Tencent / TurboTransformers

a fast and user-friendly runtime for transformer inference (Bert, Albert, GPT2, Decoders, etc) on CPU and GPU.
Other
1.49k stars 198 forks source link

使用tools 下的工具吧模型转成 npz 格式的时候出现问题 #175

Open 652994331 opened 4 years ago

652994331 commented 4 years ago

您好 我使用tools 下的convert_tf_model_to_npz 想把我自己的一个tf1.14训练的模型转成npz 1.模型就放在tools路径下 如下: image 2.代码里这样改动： image 3.使用命令如下： image 4.报错如下： image

想了解下这里的原因是什么 我记得我试了tf2.0来自huggingface 的预训练模型也不行 是不是我路径这样写有什么问题 谢谢帮助

feifeibear commented 4 years ago

sys.argv[0] 是 "convert_tf_bert_to_npz.py ", sys.argv[1] 才是你的模型= =

652994331 commented 4 years ago

@feifeibear 不好意思 这图是之前改了忘改回来了 我用的是1。 还是存在相同的问题， 我理解这个脚本必须是 tf2.0的模型才可以使用的对吧 huggingface 的bert 我试了一个convert_huggingface_bert_to_npz bert-base-uncased bert_tf.npz 是可以的

feifeibear commented 4 years ago

市面上有很多脚本把tf 1.0可以转化为2.0 另外非huggingface的tf模型载入可以参考 #13

xcnick commented 4 years ago

@652994331 convert_tf_model_to_npz.py，这个脚本是适配于tf1.0版本的模型，要确保第二个参数 mode_path 是文件夹路径，该文件夹下有相应的 .ckpt 和 config.json文件才行。

转换命令应该是

python3 convert_tf_bert_to_npz.py  YOUR_MODEL_PATH bert_tf.npz