-
tensorflow==2.3.1
transformers==4.2.1
My code is as follow:
```
transformer = TFAutoModel.from_pretrained('hfl/chinese-roberta-wwm-ext', from_pt=False, type_vocab_size=3)
```
I got error:
`…
-
## Environment info
- `transformers` version: 4.7.0
- Platform: Linux-4.18.0-25-generic-x86_64-with-debian-buster-sid
- Python version: 3.7.9
- PyTorch version (GPU?): 1.8.1+cu111 (True)
- Te…
-
欢迎您对PaddlePaddle提出建议,非常感谢您对PaddlePaddle的贡献!
在留下您的建议时,辛苦您同步提供如下信息:
- 版本、环境信息
1)PaddlePaddle版本:请提供您的PaddlePaddle版本号,例如1.1
2)CPU/GPU:您是否使用GPU进行训练,如是,请提供您的CUDA和cuDNN版本号
3)系统环境:请您描述系统类型、版本,例如Mac OS 10…
-
Data Augmentation 里面的glove 文件的来源是来自哪里,基于glue数据训练的吗
-
您好!
感谢提供UER-py
我在试用预训练模型ZOO的时候,在《其他机构中文预训练模型》中,从提供的腾讯云上,下载了ALBERT、Robert、BERT-wwm等模型,但是我发现这些模型不是表格最后一列提到的Google官方链接上的ckpt-best类型的文件,而是pytorch的bin文件。而我在UER的scripts文件夹中没有找到将albert、roberta、bert-wwm等模型转…
-
老师,您好,我使用的是您仓库中的CMRC2018代码来进行做抽取式阅读理解任务的。有个问题想请教老师,就是运行代码中有个参数是--do_train,这个参数设置为True是不是就是代表需要进行预训练呢?我把这个参数设置为false,然后将vocab_file,bert_config_file,init_checkpoint都更改为wwm模型的,但结果和您论文中结果相差很大。如果将do_train设…
-
把模型和字典拷贝到当前目录,运行下面的命令,无法成功构建tokenizer和model
tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")
model = BertModel.from_pretrained("bert-base-uncased")
提示:
```
ValueError: Calling B…
-
> @beamind 请问复现结果了吗
我参考了作者的实现https://github.com/ymcui/CMRC2018-DRCD-BERT,已经复现了结果
_Originally posted by @beamind in https://github.com/ymcui/Chinese-BERT-wwm/issues/11#issuecomment-711481489
这个地…
-
Hi, @cooelf. Thanks again for providing this really interesting work! I am trying to get the code working so I can ultimately adapt it for some other work, and I'm running into some trouble. Hope you …
-
您好,首先非常感激 @ymcui 作者及團隊提供資源給大家做使用,
我是一位學生,想請教一些觀念,手上有一些醫療健康網上爬下來的文章,
想繼續訓練在由哈工大提供之全詞遮罩BERT-like系列and MacBERT上,
預計使用的程式碼為由huggingface提供之run_mlm.py 與run_mlm_wwm.py
(來源:https://github.com/huggingface/…