更新
roberta-wwm-large
、macbert-large
)此库发布的再训练模型,在 阅读理解/分类 等任务上均有大幅提高
(已有多位小伙伴在 Dureader、法研杯、医疗问答 等多个比赛中取得top5的好成绩😁)
模型/数据集 | Dureader-2021 | tencentmedical |
---|---|---|
F1-score | Accuracy | |
dev / A榜 | test-1 | |
macbert-large (哈工大预训练语言模型) | 65.49 / 64.27 | 82.5 |
roberta-wwm-ext-large (哈工大预训练语言模型) | 65.49 / 64.27 | 82.5 |
macbert-large (ours) | 70.45 / 68.13 | 83.4 |
roberta-wwm-ext-large (ours) | 68.91 / 66.91 | 83.1 |
数据来源
数据构造
用途
open domain
,点击体验2个点
/1个点
以上合作
----- 使用方法 -----
from transformers import AutoTokenizer, AutoModelForQuestionAnswering
model_name = "chinese_pretrain_mrc_roberta_wwm_ext_large" # "chinese_pretrain_mrc_macbert_large"
# Use in Transformers
tokenizer = AutoTokenizer.from_pretrained(f"luhua/{model_name}")
model = AutoModelForQuestionAnswering.from_pretrained(f"luhua/{model_name}")
# Use locally(通过 https://huggingface.co/luhua 下载模型及配置文件)
tokenizer = BertTokenizer.from_pretrained(f'./{model_name}')
model = AutoModelForQuestionAnswering.from_pretrained(f'./{model_name}')
强基线
others
文件夹),但方案和代码都有,对比着看就看懂了脚本参数解释
--lm
: 要加载的模型的文件夹名称--do_train
: 开启训练--evaluate_during_training
: 开启训练时的验证--do_test
: 开启预测--version_2_with_negative
: 开启适配于数据中有无答案数据
(如:squad2.0、dureader2021)--threads
: 数据处理所使用的线程数(可以通过os.cpu_count()查看机器支持的线程数)sh train_bert.sh # sh test_bert.sh
pip install transformers==2.10.0