Closed ChaooMa closed 3 years ago
如题,麻烦了
@ChaooMa 你好,具体什么数据呢?
比如 wiki,news 这些数据
不影响的,文本不限于诗词歌赋这类格式的。
普通的文本没有押韵信息,单条文本长度也长短不一 在用这些数据进行预训练的时候,是否把这些格式化约束去掉更好?而后在用唐诗宋词微调的时候,再加上 s、p、c、t 这些格式约束性信息?
如题,麻烦了