关于 Stage 2.2 NSP模型 的 实现问题

[kiseliu]

论文中 context 前面使用的是 CLS token，猜测是想 和 MLM 任务对齐；

但是 plato-1 里面画的是 MASK token，所以这里实现的时候，用的是 CLS token 还是 MASK token？似乎在代码里面看不太出来。

[sserdoubleh]

PLATO-2 Stage 2.2模型输入结构与一般的 MLM 任务一样，第一个 token 都是 CLS token 只有在 Stage 2.1的 recognition network 里面，才会在前面 append 一个 MASK token https://github.com/PaddlePaddle/Knover/blob/31a659a9b1bbd5b7a1f911ed34c964d77f6c9cc4/knover/models/plato.py#L120

[kiseliu]

好的，了解了，后来想了想 确实 Stage 2.2 这个模型基本上就是BERT，所以是CLS token；