Closed LLH-Harward closed 7 months ago
您好 我是初学者,像请问一下我使用命令python .\llm_export.py --path \qwen\Qwen-VL-Chat --export 将模型完整导出为一个onnx模型llm.onnx 加载这个onnx后发现要求的输入是(['input_ids', 'attention_mask', 'position_ids', 'past_key_values']) 好像没有visual模块 我像使用多模态对话的话是要单独导出visual吗?
ValueError: Required inputs (['input_ids', 'attention_mask', 'position_ids', 'past_key_values']) are missing from input feed (['input_images']). 没有visual模块
import onnxruntime import torch from modelscope import ( snapshot_download, AutoTokenizer, GenerationConfig ) import numpy as np onnx_model_path = 'onnx/llm.onnx' session = onnxruntime.InferenceSession(onnx_model_path)
for input_meta in session.get_inputs(): print("Name:", input_meta.name) print("Type:", input_meta.type) print("Shape:", input_meta.shape)
是的 visual是一个单独的模型,使用--export_visual可以导出;
--export_visual
您好 我是初学者,像请问一下我使用命令python .\llm_export.py --path \qwen\Qwen-VL-Chat --export 将模型完整导出为一个onnx模型llm.onnx 加载这个onnx后发现要求的输入是(['input_ids', 'attention_mask', 'position_ids', 'past_key_values']) 好像没有visual模块 我像使用多模态对话的话是要单独导出visual吗?
ValueError: Required inputs (['input_ids', 'attention_mask', 'position_ids', 'past_key_values']) are missing from input feed (['input_images']). 没有visual模块
import onnxruntime import torch from modelscope import ( snapshot_download, AutoTokenizer, GenerationConfig ) import numpy as np onnx_model_path = 'onnx/llm.onnx'
session = onnxruntime.InferenceSession(onnx_model_path)
打印每个输入节点的名字和数据类型
for input_meta in session.get_inputs(): print("Name:", input_meta.name) print("Type:", input_meta.type) print("Shape:", input_meta.shape)