Closed inisis closed 7 months ago
大佬好,我这边维护了一个onnx模型优化工具,OnnxSlim,针对大模型推理会有一定提升。例如qwen 1.8b 的block模块,优化结果如下:
onnxslim block_9.onnx block_9_slim.onnx --model_check optimization --input_shapes past_key_values:2,1,0,16,128
希望后面可以一起开发,一起进步。
你做的onnx op融合和冗余去除, MNN转换的时候会不会也做了?
赞👍🏻! 可以加到代码中,导出onnx后使用slim优化一下
the latest version of onnxslim can have better optimization result
大佬好,我这边维护了一个onnx模型优化工具,OnnxSlim,针对大模型推理会有一定提升。例如qwen 1.8b 的block模块,优化结果如下:
希望后面可以一起开发,一起进步。