千问qwen1.5-14B-chat解码错误

[yiguanxian]

【现象】 qwen1.5-14B-Chat模型在解码时报UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe9 in position 1: unexpected end of data。 【描述】 模型输入是：假设f(x)=x，那么f(x)1到2的积分是多少。模型输出的tokenId包含11995、18137，这两个tokenId会导致上述异常。它们在词表中对应的是特殊字符，解码tokenId的方法是：model = pyfastllm.create_llm(model_path); model.weight.tokenizer.decode([11995, 18137])。另外尝试用原始模型的tokenizer解码是可以解码的，只是显示出来的是人类无法理解的字符，它不抛上述解码异常。我觉得1是要处理解码异常的问题，2是生成的tokenId应该是有问题的，即使它们被正常解码出来了，它们似乎与问题也不太相关。 【flm模型转换方法】 from transformers import AutoTokenizer, AutoModel tokenizer = AutoTokenizer.from_pretrained(xxx, trust_remote_code = True) model = AutoModel.from_pretrained(xxx, trust_remote_code = True) from fastllm_pytools import llm model = llm.from_hf(model, tokenizer, dtype = "int8") model.save("model.flm") 【模型推理方法】 prompt_input = “假设f(x)=x，那么f(x)1到2的积分是多少” model = pyfastllm.create_llm("model.flm") input_ids = model.weight.tokenizer.encode(prompt_input) handle = model.launch_response(input_ids) ... resp_token = model.fetch_response(handle) content = model.weight.tokenizer.decode([resp_token]) print(content)

[yiguanxian]

我看了下是因为有的解码需要两个或多个token一起解码才行，而model.fetch_response每次只会得到一个token

[yiguanxian]

已解决。原因是：有的需要两个或多个tokenid才能解码出有意义的字符，单个tokenid解码出来的可能是无意义的乱码。解决办法：1.通过try-catch捕获UnicodeDecodeError异常，然后将多个tokenid拼在一起解码。2.通过ret_byte=model.weight.tokenizer.decode_byte([token_id]); res = ret_byte.decode(errors='ignore')去解码。建议使用方法2。