ZhuiyiTechnology / WoBERT

以词为基本单位的中文BERT
Apache License 2.0
455 stars 69 forks source link

tokenizer.tokenize分词问题 #19

Open js19950726 opened 2 years ago

js19950726 commented 2 years ago

tokenizer.tokenize("作为一个品牌 希望你们不要推卸责任 不要把错误推卸顾客身上") 为什么分词完了 没有空格了 ['[CLS]', '作为', '一个', '品牌', '希望', '你们', '不要', '推', '卸', '责', '任', '不要', '把', '错误', '推', '卸', '顾客', '身上', '[SEP]']