search

LowinLi / transformers-stream-generator

This is a text generation method which returns a generator, streaming out each token in real-time during inference, based on Huggingface/Transformers.
MIT License
95 stars 14 forks source link

中文乱码 #6

Open lucasjinreal opened 1 year ago

lucasjinreal commented 1 year ago

原版是没有问题的，加上stream之后就乱码了；

你叫什么名字 我���������（Matt）。

lucasjinreal commented 1 year ago

并且我怎么感觉你这个stream是一个假的stream，是按照换行符来输出的呢？

LowinLi commented 1 year ago

因为有的汉字是多个token解码出来的，默认是每个token做解码，可以改成多个token一起解码

LowinLi commented 1 year ago

已更新example，再试试看看

lucasjinreal commented 1 year ago

@LowinLi 怎么修复的啊

LowinLi commented 1 year ago

因为有的汉字是多个token解码出来的，默认是每个token做解码，可以改成多个token一起解码

就是在流式输出的token上，改下解码方法。