search

taishan1994 / sentencepiece_chinese_bpe

使用sentencepiece中BPE训练中文词表，并在transformers中进行使用。
111 stars 16 forks source link

这个和ymcui的中文sentencepicece词表有啥区别? #1

Open lucasjinreal opened 1 year ago

lucasjinreal commented 1 year ago

这个和ymcui的中文sentencepicece词表有啥区别?

taishan1994 commented 1 year ago

这个和ymcui的中文sentencepicece词表有啥区别?

这个主要教你如何用sentencepicece训练中文词表，并用transformers库加载使用。