Open Wanglongzhi2001 opened 1 year ago
可以提供一下paddle的版本吗,我这里直接跑你代码会有接口兼容问题?另外还有pdiparams文件也提供一下。
可以提供一下paddle的版本吗,我这里直接跑你代码会有接口兼容问题?另外还有pdiparams文件也提供一下。
抱歉,pdiparams文件有200多M,github 上传不了那么大的文件,之前没发现这个文件上传失败了。
使用的是 paddle 的 docker 镜像 2.5.2-gpu-cuda12.0-cudnn8.9-trt8.6 进行编译的。事实上在 windows 上我也用过之前好像是 2.5.0 还是 2.5.2 版本的 paddle,依然有这个报错,因为这个报错是从一个 pass 里传出的,而这个 pass 似乎不是最近修改的。
这个错误是tensor的 实际输入和模型描述的数据类型不匹配,错误的log上提示了错误的原因和解决方法,可以照着改一下输入
这个错误是tensor的 实际输入和模型描述的数据类型不匹配,错误的log上提示了错误的原因和解决方法,可以照着改一下输入
能指出代码中我的模型输入哪里有问题吗? 复现代码我放在这个repo了。模型输入应该没有问题,模型输入就是paddle-inference-demo的示例代码(读取一张图片,float32类型)没有动过。
看到您的pr了,这个确实这里的tensor的type不匹配。可能是slim的量化逻辑更新忽略了这个,应该是int8的权重,save成了float的权重(标准量化权重是int8),已经同步给slim的同学让他们查看、修改了
看到您的pr了,这个确实这里的tensor的type不匹配。可能是slim的量化逻辑更新忽略了这个,应该是int8的权重,save成了float的权重(标准量化权重是int8),已经同步给slim的同学让他们查看、修改了
好的,谢谢~
bug描述 Describe the Bug
在 PaddleSlim PTQ量化后导出的模型在进行 Paddle Inference 的 int8 推理的时候会报如下所示的错误:
其他补充信息 Additional Supplementary Information
复现步骤:
download 我的这个 repo :https://github.com/Wanglongzhi2001/repo-for-reproduction 运行 custom_infer 文件夹里的 infer.py 进行推理,代码是 paddle-inference-demo 里的示例
量化后的模型提供在 output_ptq 文件夹里,是运行 repo 里的 ptq_alexnet.py 文件夹而来,想要复现的话得自行配置好数据集,不想的话就直接用我提供的,代码参考自 PaddleSlim 的示例