search

MuQiuJun-AI / bert4pytorch

超轻量级bert的pytorch版本，大量中文注释，容易修改结构，持续更新
408 stars 68 forks source link

可以加载bert4keras里面提供的模型吗 #3

Open yuanjie-ai opened 3 years ago

yuanjie-ai commented 3 years ago

可以加载bert4keras里面提供的模型吗

MuQiuJun-AI commented 3 years ago

bert4keras本身也没有提供模型，照样需要去其他地方下载标准的预训练模型格式。其次，bert4keras支持的是tf格式的模型，bert4pytorch支持的是pytorch格式的模型。不过倒是可以通过一个函数，支持tf模型转pytorch，这个就以后再考虑了，目前觉得没有太大必要

yuanjie-ai commented 3 years ago

bert4keras本身也没有提供模型，照样需要去其他地方下载标准的预训练模型格式。其次，bert4keras支持的是tf格式的模型，bert4pytorch支持的是pytorch格式的模型。不过倒是可以通过一个函数，支持tf模型转pytorch，这个就以后再考虑了，目前觉得没有太大必要

可以一起维护这个项目，哈哈

yuanjie-ai commented 3 years ago

好多预训练的模型是tf的，感觉有必要转换下

MuQiuJun-AI commented 3 years ago

其实现在transformer架构的预训练模型，有tf基本就有pytorch版本，社区还是蛮强大的，可能是你没找到。 我的本意就是尽量简洁，不想类似huggingface团队的transformers项目那样搞得太全面却很笨重，tf转pytorch可以实现，这个不难。

yuanjie-ai commented 3 years ago

其实现在transformer架构的预训练模型，有tf基本就有pytorch版本，社区还是蛮强大的，可能是你没找到。 我的本意就是尽量简洁，不想类似huggingface团队的transformers项目那样搞得太全面却很笨重，tf转pytorch可以实现，这个不难。

transformers里像simbert等一些中文的就没用

MuQiuJun-AI commented 3 years ago

ok，后面我添加上这个功能，也尽量多给些例子，这一两周会更新下其他的一些东西