词表中的<S>和<T>含义

ymcui / MacBERT

Revisiting Pre-trained Models for Chinese Natural Language Processing (MacBERT)

Apache License 2.0

639 stars 56 forks source link

Closed zyccyz closed 3 years ago

zyccyz commented 3 years ago

您好，我看到预训练词表中有两个特殊的token，请问这两个特殊token有何含义？在预训练中是否使用过？还是仅仅只是类似unused的随机初始化？希望能得到您的回复。

ymcui commented 3 years ago

预训练的过程中并没有使用。词表继承了谷歌原版中文词表，没有添加额外的token。

zyccyz commented 3 years ago

懂啦，感谢您的回复！