qwen-vl-chat导出后推理问题

[LLH-Harward]

您好 我是初学者，像请问一下我使用命令python .\llm_export.py --path \qwen\Qwen-VL-Chat --export 将模型完整导出为一个onnx模型llm.onnx 加载这个onnx后发现要求的输入是(['input_ids', 'attention_mask', 'position_ids', 'past_key_values']) 好像没有visual模块 我像使用多模态对话的话是要单独导出visual吗？

ValueError: Required inputs (['input_ids', 'attention_mask', 'position_ids', 'past_key_values']) are missing from input feed (['input_images']). 没有visual模块

import onnxruntime import torch from modelscope import ( snapshot_download, AutoTokenizer, GenerationConfig ) import numpy as np onnx_model_path = 'onnx/llm.onnx'
session = onnxruntime.InferenceSession(onnx_model_path)

打印每个输入节点的名字和数据类型

for input_meta in session.get_inputs(): print("Name:", input_meta.name) print("Type:", input_meta.type) print("Shape:", input_meta.shape)

[wangzhaode]

是的 visual是一个单独的模型，使用--export_visual可以导出；