search

wangzhaode / llm-export

llm-export can export llm model to onnx.
Apache License 2.0
187 stars 21 forks source link

[Bug] HuggingfaceTokenizer Crash #36

Open DakeQQ opened 4 months ago

DakeQQ commented 4 months ago

您好, 当执行tokenizer.cpp第627行, HuggingfaceTokenizer->encode.at(s), 会因为encode里面存放的每一条string最后位都带有“\r”而回报no key found. 同样在decode.at(id)也会找不到key. 我目前是在第498行下方新增“line.pop_back();"暂时解决这问题. 还麻烦您看看咋回事. 謝謝您~

liulangdeyeshou commented 4 months ago

我之前碰到过类似的报错，不过后来发现是cpp的代码没有更新到最新的。你可以试试用最新版本的mnn-llm