-
非常感谢您开源这个项目,在使用过程中遇到了一点小问题想咨询一下。
中文roberta一般都是BertModel载入,例如https://github.com/ymcui/Chinese-BERT-wwm,在config中model_type是bert。
您这边是用RobertaModel,想问一下为什么这样处理呢?
-
https://github.com/NVIDIA/NeMo/blob/6452ae3b51b969e6b778947ddaacb7c91d2780f7/nemo/collections/nlp/data/tokenizers/bert_tokenizer.py#L77
we have so many format here, I don't think the above filter i…
-
WARNING:tensorflow:From /opt/tfbert/tfbert/models/layers.py:28: dense (from tensorflow.python.layers.core) is deprecated and will be removed in a future version.
Instructions for updating:
Use keras…
-
-
File "D:\Event_Extraction\event_extraction2020\src_final\preprocess\processor.py", line 653, in convert_examples_to_features
tokenizer = BertTokenizer.from_pretrained(bert_dir)
File "D:\soft\…
-
可能是构建模型时,`build_transformer_model`参数设置有问题,example中没有找到`residual_attention_scores`的参数使用样例,希望提供
### 基本信息
- 你使用的**操作系统**: ubuntu1~18.04
- 你使用的**Python**版本: Python 3.8.5
- 你使用的**Tensorflow**版本: t…
-
Hi again, and thanks in advance for your response. We are questioning ourselves how you dealt with accents, which are very important in spanish (e.g. hacia is not the same as hacía). When using your t…
-
这是我的shell 脚本
```
export NCCL_IB_CUDA_SUPPORT=1 && export NCCL_DEBUG=INFO && export NCCL_IB_DISABLE=0 && export NCCL_IB_GID_INDEX=3 && deepspeed \
--hostfile=./hostfile \
pretrai…
-
在你们的工作中,比如mask词的时候,一个词为哈利波特,那么在你们的方法中,是不是只要这个词被mask,那一定是[mask][mask][mask][mask]的形式,还是偶尔会出现[mask]利[mask][mask]的形式,不知道你们是如何设置的(不考虑那个mask80%10%10%的那个随机概率),如果是前者,那么这种完全避免局部共现的设置会不会对结果有影响。
-
When I execute `convlab2/policy/mle/crosswoz/evaluate.py` or use ConvLab-2 to build a system to test, an error occurred aflter **load from model**
```
Load from model_file param
Load from .../Cross…