PPQ已经支持了不少后端推理框架(TensorRT,ncnn,mnn等），这些后端的量化规格细节都是怎么获取的呢？现在PPQ与后端量化推理可以完全对齐吗？

OpenPPL / ppq

PPL Quantization Tool (PPQ) is a powerful offline neural network quantization tool.

Apache License 2.0

1.57k stars 236 forks source link

Open 666DZY666 opened 6 months ago

Jzz24 commented 3 weeks ago

trt的话，最新的文档有详细描述量化细节，其他黑盒平台，ppq是按照谷歌白皮书标准进行concat/add量化模拟，我们只能力求对齐量化融合方式，置于算子的比特对齐，这个做不到