destwang / DCN

Dynamic Connected Networks for Chinese Spelling Check
Apache License 2.0
49 stars 7 forks source link

请问作者,我从训练数据集中发现【unk】,请问添加unk的目的是什么? #2

Closed OKC13 closed 3 years ago

OKC13 commented 3 years ago

请问作者,我从训练数据集中发现【unk】,请问添加unk的目的是什么?

destwang commented 3 years ago

你好,提供的训练数据是经过tokenize的处理后的数据,不在词典中的字会用[UNK]表示。