search

wangzhaode / llm-export

llm-export can export llm model to onnx.
Apache License 2.0
187 stars 21 forks source link

onnxslim优化onnx模型 #13

Closed inisis closed 7 months ago

inisis commented 8 months ago

大佬好，我这边维护了一个onnx模型优化工具，OnnxSlim，针对大模型推理会有一定提升。例如qwen 1.8b 的block模块，优化结果如下：

onnxslim block_9.onnx block_9_slim.onnx --model_check optimization --input_shapes past_key_values:2,1,0,16,128

image

希望后面可以一起开发，一起进步。

DavidQiuChao commented 8 months ago

你做的onnx op融合和冗余去除， MNN转换的时候会不会也做了？

wangzhaode commented 8 months ago

赞👍🏻！ 可以加到代码中，导出onnx后使用slim优化一下

inisis commented 5 months ago

the latest version of onnxslim can have better optimization result

image