Closed Moxoo closed 8 months ago
ok 可能是版本问题 我对比一下
你测试用的是Linux系统吗
你测试用的是Linux系统吗
是的
你测试用的是Linux系统吗
是的
我测试了下Linux的whl包转换出来确实比Mac转换的大,跟你的表现一致;
你测试用的是Linux系统吗
是的
我测试了下Linux的whl包转换出来确实比Mac转换的大,跟你的表现一致;
也是会打印逗号出来是吗
应该是的 我没有测试;你可以先用我上传的模型,我来看下linux和mac的差异
好的,thanks
应该是的 我没有测试;你可以先用我上传的模型,我来看下linux和mac的差异
我试了下用 quant_bit = 8 来转Qwen-1_8B-Chat,转出来的mnn文件也跟你 https://github.com/wangzhaode/mnn-llm/releases/tag/qwen-1.8b-mnn-int8 上传的对不上,应该是同一个问题
现象也是一样的
问题已定位,是一个未初始化变量导致的模型转换期间优化Pass出错
问题已定位,是一个未初始化变量导致的模型转换期间优化Pass出错
这个是不是要改MNN python库
对 代码已经修改了 2.8.1版本的 MNN whl包会修复
@wangzhaode 大佬有空帮看下这个问题,谢谢~
- 模型文件是在这里下的 https://www.modelscope.cn/models/qwen/Qwen-1_8B-Chat/files
- 转换是用的master的bfe22b,
python llm_export.py --path ../Qwen/Qwen-1_8B-Chat --export_mnn --export_split
我转出来的单个block_i.mnn文件大小是39M,跟 https://github.com/wangzhaode/mnn-llm/releases/tag/qwen-1.8b-mnn 这里的24.6M对不上,不过我转出来的单个block_i.onnx文件大小跟 https://github.com/wangzhaode/llm-export/releases/tag/qwen-1.8b-onnx 这里一样(并且--export_test和--test都通过)![]()
所以导致:
- 我使用自己转的mnn文件进行推理的时候,一直无休止打印逗号', , ,':
- 使用 https://github.com/wangzhaode/mnn-llm/releases/tag/qwen-1.8b-mnn 这里下载的mnn文件,运行ok:
请问你转模型的时候有以下信息吗?
@wangzhaode 大佬有空帮看下这个问题,谢谢~
- 模型文件是在这里下的 https://www.modelscope.cn/models/qwen/Qwen-1_8B-Chat/files
- 转换是用的master的bfe22b,
python llm_export.py --path ../Qwen/Qwen-1_8B-Chat --export_mnn --export_split
我转出来的单个block_i.mnn文件大小是39M,跟 https://github.com/wangzhaode/mnn-llm/releases/tag/qwen-1.8b-mnn 这里的24.6M对不上,不过我转出来的单个block_i.onnx文件大小跟 https://github.com/wangzhaode/llm-export/releases/tag/qwen-1.8b-onnx 这里一样(并且--export_test和--test都通过)![]()
所以导致:
- 我使用自己转的mnn文件进行推理的时候,一直无休止打印逗号', , ,':
- 使用 https://github.com/wangzhaode/mnn-llm/releases/tag/qwen-1.8b-mnn 这里下载的mnn文件,运行ok:
请问你转模型的时候有以下信息吗?
有的
那这里可能也会导致转成的模型有点问题 @wangzhaode @Moxoo
那这里可能也会导致转成的模型有点问题 @wangzhaode @Moxoo
如果只是warning是没问题的
对 代码已经修改了 2.8.1版本的 MNN whl包会修复
@wangzhaode 请问这个版本大概什么时候可以发布?
@wangzhaode 请问这个版本什么时候发布啊
@wangzhaode 请问这个版本什么时候发布啊
预计下周吧
MNN 2.8.1已发布,python包:https://pypi.org/project/MNN/2.8.1/#files
@wangzhaode 大佬有空帮看下这个问题,谢谢~
python llm_export.py --path ../Qwen/Qwen-1_8B-Chat --export_mnn --export_split
我转出来的单个block_i.mnn文件大小是39M,跟 https://github.com/wangzhaode/mnn-llm/releases/tag/qwen-1.8b-mnn 这里的24.6M对不上,不过我转出来的单个block_i.onnx文件大小跟 https://github.com/wangzhaode/llm-export/releases/tag/qwen-1.8b-onnx 这里一样(并且--export_test和--test都通过)所以导致: