Qwen-1_8B-Chat模型转mnn可能存在问题

Moxoo commented 8 months ago

@wangzhaode 大佬有空帮看下这个问题，谢谢～

模型文件是在这里下的 https://www.modelscope.cn/models/qwen/Qwen-1_8B-Chat/files
转换是用的master的bfe22b，python llm_export.py --path ../Qwen/Qwen-1_8B-Chat --export_mnn --export_split 我转出来的单个block_i.mnn文件大小是39M，跟 https://github.com/wangzhaode/mnn-llm/releases/tag/qwen-1.8b-mnn 这里的24.6M对不上，不过我转出来的单个block_i.onnx文件大小跟 https://github.com/wangzhaode/llm-export/releases/tag/qwen-1.8b-onnx 这里一样(并且--export_test和--test都通过)

所以导致：

我使用自己转的mnn文件进行推理的时候，一直无休止打印逗号', , ,'：
使用 https://github.com/wangzhaode/mnn-llm/releases/tag/qwen-1.8b-mnn 这里下载的mnn文件，运行ok：

wangzhaode commented 8 months ago

ok 可能是版本问题我对比一下

wangzhaode commented 8 months ago

你测试用的是Linux系统吗

Moxoo commented 8 months ago

你测试用的是Linux系统吗

是的

wangzhaode commented 8 months ago

你测试用的是Linux系统吗

是的

我测试了下Linux的whl包转换出来确实比Mac转换的大，跟你的表现一致；

Moxoo commented 8 months ago

你测试用的是Linux系统吗

是的

我测试了下Linux的whl包转换出来确实比Mac转换的大，跟你的表现一致；

也是会打印逗号出来是吗

wangzhaode commented 8 months ago

应该是的我没有测试；你可以先用我上传的模型，我来看下linux和mac的差异

Moxoo commented 8 months ago

好的，thanks

Moxoo commented 8 months ago

应该是的我没有测试；你可以先用我上传的模型，我来看下linux和mac的差异

我试了下用 quant_bit = 8 来转Qwen-1_8B-Chat，转出来的mnn文件也跟你 https://github.com/wangzhaode/mnn-llm/releases/tag/qwen-1.8b-mnn-int8 上传的对不上，应该是同一个问题 a6mrDTO0h3 现象也是一样的 K9ICYEV4lD

wangzhaode commented 8 months ago

问题已定位，是一个未初始化变量导致的模型转换期间优化Pass出错

Moxoo commented 8 months ago

问题已定位，是一个未初始化变量导致的模型转换期间优化Pass出错

这个是不是要改MNN python库

wangzhaode commented 8 months ago

对代码已经修改了 2.8.1版本的 MNN whl包会修复

DavidQiuChao commented 8 months ago

@wangzhaode 大佬有空帮看下这个问题，谢谢～

模型文件是在这里下的 https://www.modelscope.cn/models/qwen/Qwen-1_8B-Chat/files

转换是用的master的bfe22b，python llm_export.py --path ../Qwen/Qwen-1_8B-Chat --export_mnn --export_split 我转出来的单个block_i.mnn文件大小是39M，跟 https://github.com/wangzhaode/mnn-llm/releases/tag/qwen-1.8b-mnn 这里的24.6M对不上，不过我转出来的单个block_i.onnx文件大小跟 https://github.com/wangzhaode/llm-export/releases/tag/qwen-1.8b-onnx 这里一样(并且--export_test和--test都通过)

所以导致：

我使用自己转的mnn文件进行推理的时候，一直无休止打印逗号', , ,'：

使用 https://github.com/wangzhaode/mnn-llm/releases/tag/qwen-1.8b-mnn 这里下载的mnn文件，运行ok：

请问你转模型的时候有以下信息吗？

Moxoo commented 8 months ago

@wangzhaode 大佬有空帮看下这个问题，谢谢～

模型文件是在这里下的 https://www.modelscope.cn/models/qwen/Qwen-1_8B-Chat/files

转换是用的master的bfe22b，python llm_export.py --path ../Qwen/Qwen-1_8B-Chat --export_mnn --export_split 我转出来的单个block_i.mnn文件大小是39M，跟 https://github.com/wangzhaode/mnn-llm/releases/tag/qwen-1.8b-mnn 这里的24.6M对不上，不过我转出来的单个block_i.onnx文件大小跟 https://github.com/wangzhaode/llm-export/releases/tag/qwen-1.8b-onnx 这里一样(并且--export_test和--test都通过)

所以导致：

我使用自己转的mnn文件进行推理的时候，一直无休止打印逗号', , ,'：

使用 https://github.com/wangzhaode/mnn-llm/releases/tag/qwen-1.8b-mnn 这里下载的mnn文件，运行ok：

请问你转模型的时候有以下信息吗？