search

taishan1994 / sentencepiece_chinese_bpe

使用sentencepiece中BPE训练中文词表，并在transformers中进行使用。
97 stars 14 forks source link

这个和ymcui的中文sentencepicece词表有啥区别? #1

Open lucasjinreal opened 11 months ago

lucasjinreal commented 11 months ago

这个和ymcui的中文sentencepicece词表有啥区别?

taishan1994 commented 11 months ago

这个和ymcui的中文sentencepicece词表有啥区别?

这个主要教你如何用sentencepicece训练中文词表，并用transformers库加载使用。