Open DakeQQ opened 4 months ago
您好, 当执行tokenizer.cpp第627行, HuggingfaceTokenizer->encode.at(s), 会因为encode里面存放的每一条string最后位都带有“\r”而回报no key found. 同样在decode.at(id)也会找不到key. 我目前是在第498行下方新增“line.pop_back();"暂时解决这问题. 还麻烦您看看咋回事. 謝謝您~
我之前碰到过类似的报错,不过后来发现是cpp的代码没有更新到最新的。你可以试试用最新版本的mnn-llm
您好, 当执行tokenizer.cpp第627行, HuggingfaceTokenizer->encode.at(s), 会因为encode里面存放的每一条string最后位都带有“\r”而回报no key found. 同样在decode.at(id)也会找不到key. 我目前是在第498行下方新增“line.pop_back();"暂时解决这问题. 还麻烦您看看咋回事. 謝謝您~