-
按照我的理解应该是1024，但是config.json里面写的是768
-
Besides hfl/chinese-roberta-wwm-ext, all of your models can be load into Pytorch with below code:
tokenizer = BertTokenizer.from_pretrained(MODENAME)
roberta = BertModel.from_pretrained(MODENAME) …
-
谢谢
-
bert4keras 0.7.6
tf 2.0.0
keras 2.3.1
请教一个问题.
在data_utils.py中是通过some_texts来将corpus转换成预训练的格式.
我看逻辑是将文档分为句子,然后组成list.文档之间没有区分的标识.
但是bert 预训练中,文章和文章,是有空行. 然后mask 和 predict 是在单个文档之间进行的,而不是跨文档.…
-
提问时请尽可能提供如下信息：
### 基本信息
- 你使用的**操作系统**: windows
- 你使用的**Python**版本: python3.7
- 你使用的**Tensorflow**版本: tensorflow2.1
- 你使用的**Keras**版本: keras 2.3.1
- 你使用的**bert4keras**版本: 0.7.4
- 你使用纯**keras*…
-
# ❓ Questions & Help
## Details
```
> from transformers import AutoTokenizer, AutoModelWithLMHead
> tokenizer = AutoTokenizer.from_pretrained("hfl/chinese-roberta-wwm-ext")
I0710 17:52:53…
-
我想知道PaddleHub Serving 一键部署服务现在支持部署 **开发者使用PaddleHub Fine-tune API得到的模型**了吗？
-
我使用以下代码
`from transformers import BertTokenizer, BertModel
bert = BertModel.from_pretrained("hfl/chinese-roberta-wwm-ext")
bert_tokenizer = BertTokenizer.from_pretrained("hfl/chinese-roberta-ww…
-
使用XLNet在MRC任务上进行微调的时候，发现效果明显要比RoBERTa-wwm-ext-large差很多很多，数据加载部分应该是没有啥问题的，想问一下是模型出了问题吗？
-
Hi,
Thank you so much for open sourcing this toolkit! This is very helpful. I tried to finetune on several downstream tasks and it works great.
May I ask if you ever tried to distill a random-in…