wangzhaode
commented
7 months ago - 导出的话可以参考README里的命令，相比非多模态模型需要额外加一个参数
--export_visual, 同时也会多导出一个visual.onnx的模型； - onnx使用的话需要你看下Qwen-VL的代码，与非多模态模型相比，区别是embedding的时候使用
visual.onnx模型将图片转换为向量并插入到embedding的结果中，具体逻辑可以看下Qwen-VL的代码； - mnn的使用可以直接使用mnn-llm，编译时使用
cmake -DUSING_VISUAL_MODEL=ON ..即可。
LLH-Harward
您好 请问下如何用export出的onnx加载进行Qwen-VL-Chat的推理 有相关的项目或者代码参考吗？
onnx如下： embedding.onnx visual.onnx lm.onnx block_[0-31].onnx