search

CLUEbenchmark / CLUE

中文语言理解测评基准 Chinese Language Understanding Evaluation Benchmark: datasets, baselines, pre-trained models, corpus and leaderboard
http://www.CLUEbenchmarks.com
4.02k stars 540 forks source link

请问ERNIE网络是用tensorflow 改写的吗？ #95

Closed leo038 closed 4 years ago

leo038 commented 4 years ago

ERNIE网络的官方开源代码是用paddle实现的， 这里面的ERNIE 代码是用tensorflow实现的 ，请问这个改造是等价的吗？

leo038 commented 4 years ago

我分析了代码发现ernie的代码和bert的代码一样呀， 是不是搞错了呀？

ydli-ai commented 4 years ago

原始的ERNIE是用paddle训练的，这里测评前把paddle权重转换到了tf，所以代码是一样的，有差别的是模型权重部分

leo038 commented 4 years ago

请问模型转换的程序可以提供参考一下吗？

ydli-ai commented 4 years ago

https://github.com/nghuyong/ERNIE-Pytorch

leo038 commented 4 years ago

https://github.com/nghuyong/ERNIE-Pytorch

不是要转为tf吗， 这个是转为pytorch的

ydli-ai commented 4 years ago

https://github.com/nghuyong/ERNIE-Pytorch

不是要转为tf吗， 这个是转为pytorch的

参考huggingface的转换脚本改成转到tf的就行

leo038 commented 4 years ago

https://github.com/nghuyong/ERNIE-Pytorch

不是要转为tf吗， 这个是转为pytorch的

参考huggingface的转换脚本改成转到tf的就行

好的， 谢谢