中文语料预训练模型时，也是加了韵律、格式这些限制的吗？

[yaolinli]

想问问作者用wiki,news这些中文数据（没有格式押韵限制的数据）预训练模型时，也加了Format Rhyme Embeddings （c）吗？当想fine-tuning的数据集中的句子不押韵时，怎么调整这个Format & Rhyme Symbols C? 感谢！

[lipiji]

pretrain的时候我是直接留着了，可以当做一种特别的feature。然后在诗词、歌词、对联啥的可以继续finetune，不用作特别修改。