-
from transformers import AutoTokenizer
tokenizer_auto = AutoTokenizer.from_pretrained(“hfl/chinese-roberta-wwm-ext-large”)
tokens2 = tokenizer_auto("使用语言模型来预测下一个词的probability。")
print(tokens2)
…
-
### 问题
使用tensorflow api时bert4keras报错，错误代码在tf.layers.dense这个api，如果不使用这个api，直接输出bert的向量没有问题。
### 基本信息
- 你使用的**Python**版本: 3.6
- 你使用的**Tensorflow**版本: 1.14
- 你使用的**Keras**版本: 2.3.1
- 你使用的**ber…
-
tensorflow==2.3.1
transformers==4.2.1
My model define as:
```
import tensorflow as tf
from tensorflow.keras import Model
from tensorflow.keras.layers import *
from transformers import TFAu…
-
I try run the code by python, but the embeddings of the same sentence are different.
>>> from transformers import AutoModel, AutoTokenizer
>>> tokenizer = AutoTokenizer.from_pretrained("hfl/chinese-…
-
## How to reproduce the behaviour
I use the model [https://huggingface.co/hfl/chinese-roberta-wwm-ext/tree/main](https://huggingface.co/hfl/chinese-roberta-wwm-ext/tree/main)，
the training con…
-
您好！
感谢提供UER-py
我在试用预训练模型ZOO的时候，在《其他机构中文预训练模型》中，从提供的腾讯云上，下载了ALBERT、Robert、BERT-wwm等模型，但是我发现这些模型不是表格最后一列提到的Google官方链接上的ckpt-best类型的文件，而是pytorch的bin文件。而我在UER的scripts文件夹中没有找到将albert、roberta、bert-wwm等模型转…
-
你好，我下载了对应的h5模型然后加载报错。
transformers：2.2.2
tensorflow：2.1
`model = TFBertModel.from_pretrained(path, output_hidden_states=True)`
path是模型路径，这个可以成功加载bert-base，但是加载roberta就会报以下错误
File "classifia…
-
欢迎您对PaddlePaddle提出建议，非常感谢您对PaddlePaddle的贡献！
在留下您的建议时，辛苦您同步提供如下信息：
- 版本、环境信息
1）PaddlePaddle版本：请提供您的PaddlePaddle版本号，例如1.1
2）CPU/GPU：您是否使用GPU进行训练，如是，请提供您的CUDA和cuDNN版本号
3）系统环境：请您描述系统类型、版本，例如Mac OS 10…
-
# New Features
## ERNIE 3.0
- 新增百度自研预训练模型 ERNIE 3.0
- CLUE benchmark
## UIE
- 新增百度自研基于统一结构生成的通用信息抽取模型 UIE
## PLATO-XL
- 新增百度自研百亿参数对话模型 PLATO-XL
- 高性能预测
## 领域预训练模型
新增医疗领域预训练模型…
-
您好，首先非常感激 @ymcui 作者及團隊提供資源給大家做使用，
我是一位學生，想請教一些觀念，手上有一些醫療健康網上爬下來的文章，
想繼續訓練在由哈工大提供之全詞遮罩BERT-like系列and MacBERT上，
預計使用的程式碼為由huggingface提供之run_mlm.py 與run_mlm_wwm.py
(來源:https://github.com/huggingface/…