macbert4csc是否支持在目标域数据上进行Further Pre-training

shibing624 / pycorrector

pycorrector is a toolkit for text error correction. 文本纠错，实现了Kenlm，T5，MacBERT，ChatGLM3，Qwen2.5等模型应用在纠错场景，开箱即用。

https://www.mulanai.com/product/corrector/

Apache License 2.0

5.61k stars 1.1k forks source link

Closed JingyangXu1991 closed 2 years ago

JingyangXu1991 commented 2 years ago

您好，在之前实验中发现，若bert先用目标域数据进行预训练再finetune，是能够提升一些下游任务效果的，所以想问下macbert4csc是否可以类似于bert，在目标域数据上进行Further Pre-training呢

shibing624 commented 2 years ago

可以

JingyangXu1991 commented 2 years ago

可以

好的，感谢回复