search

openppl-public / ppq

PPL Quantization Tool (PPQ) is a powerful offline neural network quantization tool.
Apache License 2.0
1.44k stars 223 forks source link

加减类算子类型匹配问题 #540

Open ycwnuoyan opened 4 months ago

ycwnuoyan commented 4 months ago

Add Sub Mul的结果类型问题

在执行器（路径：3rd/ppq/ppq/executor/op/torch/default.py）里关于加减类算子，它们的结果都被固定为float32，这会导致两个int型算子做sub运算，结果变为float: e70478f7-05b1-4fd2-aca9-613841910023

这里是否可以考虑，将结果的float转换删除？

ZhangZhiPku commented 4 months ago

我们好像还没遇到过这种地方会出错的网络，你有具体的网络结构可以分享给我们吗？

ycwnuoyan commented 4 months ago

网络的话，我这边是使用llama2模型，由于文件太大，不好上传，但是出错的结构截图是长这样的： image 其中sub是两边输入int,输出结果为float

ycwnuoyan commented 4 months ago

当然，我这边是使用你们的代码做了模型权重压缩，因此自己构建了导出器，如果你们测试过许多模型都没有出现类型不对，可能是我这边修改有问题