Open js19950726 opened 2 years ago
tokenizer.tokenize("作为一个品牌 希望你们不要推卸责任 不要把错误推卸顾客身上") 为什么分词完了 没有空格了 ['[CLS]', '作为', '一个', '品牌', '希望', '你们', '不要', '推', '卸', '责', '任', '不要', '把', '错误', '推', '卸', '顾客', '身上', '[SEP]']
tokenizer.tokenize("作为一个品牌 希望你们不要推卸责任 不要把错误推卸顾客身上") 为什么分词完了 没有空格了 ['[CLS]', '作为', '一个', '品牌', '希望', '你们', '不要', '推', '卸', '责', '任', '不要', '把', '错误', '推', '卸', '顾客', '身上', '[SEP]']