search

xv44586 / toolkit4nlp

transformers implement (architecture, task example, serving and more)
Apache License 2.0
97 stars 18 forks source link

pretrain后finetune的问题 #8

Open guowhite opened 3 years ago

guowhite commented 3 years ago

请问下，自己的脱敏数据数据，利用nezha预训练模型pretrain得到最新的ckpt预训练模型。修改了config 里面vocab_size。再通过build_transformer_model读取预训练模型后进行finetune为啥结果会很低呢，和随机猜测结果差不多。是finetune的时候需要修改vocab.txt吗

xv44586 commented 3 years ago

如果只是想修改vocab_size， 直接在build_transformer_model(.., keep_tokens=range(new_vocab_size)),另外就是脱敏数据，tokenizer 需要自己重写后对齐吧，你是不是没对齐？不确定你具体怎么写的

guowhite commented 3 years ago

好把 我再尝试一下