请问计算损失函数时是不是只考虑被替换的token？

ymcui / MacBERT

Revisiting Pre-trained Models for Chinese Natural Language Processing (MacBERT)

Apache License 2.0

639 stars 56 forks source link

Closed RookieZB closed 3 years ago

RookieZB commented 3 years ago

谢谢。

ymcui commented 3 years ago

是的，这一点与原版的MLM是一致的。收集所有mask（广义：包括近义词替换、随机替换、不替换）的位置，然后再处理。可参考：https://github.com/google-research/bert/blob/master/run_pretraining.py#L240

RookieZB commented 3 years ago

明白，谢谢。