bojone / bert4keras

keras implement of transformers for humans
https://kexue.fm/archives/6915
Apache License 2.0
5.37k stars 929 forks source link

bert4keras是只支持中文数据集的bert预训练吗?是否支持英文的bert-cased #322

Open WangMing6ban opened 3 years ago

WangMing6ban commented 3 years ago

提问时请尽可能提供如下信息:

基本信息

核心代码

# 请在此处贴上你的核心代码。
# 请尽量只保留关键部分,不要无脑贴全部代码。

输出信息

# 请在此处贴上你的调试输出

自我尝试

不管什么问题,请先尝试自行解决,“万般努力”之下仍然无法解决再来提问。此处请贴上你的努力过程。

bojone commented 3 years ago

这里的回复:

请注意,bert4keras只是一个帮助你搭建keras下的bert模型的框架,它不依赖于语种。至于支持什么语种的预训练,取决于个人的开发,它并不是bert4keras本身的开发任务。bert4keras下的pretraining提供了中文预训练的参考脚本,用户可以参考脚本来实现任意语种的预训练。