search

wangzhaode / llm-export

llm-export can export llm model to onnx.
Apache License 2.0
187 stars 21 forks source link

llm export_tokenizer 元符号的替换 #45

Closed mi-tao closed 2 months ago

mi-tao commented 2 months ago

为何需要将元符号替换成空格呢？ image

wangzhaode commented 2 months ago

在C++代码里没有处理这个符号，在chatglm中这个展示出来应该是空格