-
-
**您好!请问以下几个问题,非常感谢:**
**(1)请问我以BERT为基础,进行MLM的预训练,同时采用静态Span masking,请问是正确的操作吗?不知道为何,我实际训练出的模型效果反倒不如原生BERT。**
预训练脚本如下:
python3 preprocess.py --corpus_path corpus/corpus.txt \
…
-
### Error Message
INFO:root:converting to Gluon checkpoint ...
Traceback (most recent call last):
File "convert_tf_model.py", line 159, in
assert len(tf_config) == len(tf_config_names_to_gl…
-
您好,我想问一下,能不能完全不需要微调,从头训练自己的数据集呢?要是可以的话我该如何设置训练脚本呢?
-
跑一下代码,发现无法达到0.78+ 的性能。请您指点一下。谢谢!
-
D:\Anaconda\Anaconda\envs\pytorch\python.exe D:/python/BERT-BILSTM-CRF-main/BERT-BILSTM-CRF-main/main.py
['O', 'B-故障设备', 'I-故障设备', 'B-故障原因', 'I-故障原因']
{'O': 0, 'B-故障设备': 1, 'I-故障设备': 2, 'B-故障原因': 3,…
-
制作bert预训练数据集DataManager的op_mask_wwm和op_mask那里,其实可以使用numpy取一个值域在[0,1]上的维度保持一样的array,然后用numpy来操作,应该会快得多,数据量太大会消耗很多时间。比如可以使用这种写法:
random_tensor = torch.rand(inputs['input_ids'].shape)
masked_tensor = (…
-
文件:bert4keras/examples/task_relation_extraction.py
### 基本信息
- 你使用的**操作系统**: Ubuntu 20
- 你使用的**Python**版本: 3.6
- 你使用的**Tensorflow**版本: 2.2.0
- 你使用的**Keras**版本: 2.3.1
- 你使用的**bert4keras**版本: 0…
-
运行sh脚本总会出现未识别的参数**main.py: error: unrecognized arguments: --accum-freq=1**,脚本和示例一模一样
```
`usage: main.py [-h] --train-data TRAIN_DATA [--val-data VAL_DATA] [--num-workers NUM_WORKERS] [--logs LOGS] …
-
hugging face网站跑代码403,没有找到您的模型文件