search

wangzhaode / llm-export

llm-export can export llm model to onnx.
Apache License 2.0
187 stars 21 forks source link

Qwen-VL 的release是否有误？ #17

Closed JennieGao-njust closed 7 months ago

JennieGao-njust commented 7 months ago

https://github.com/wangzhaode/llm-export/releases/tag/qwen-vl-onnx/lm.onnx 只有500多Bytes吗？ 是否是正常的

JennieGao-njust commented 7 months ago

使用onnx2mnn函数直接转这个lm.onnx,报错Segmentation fault

LLH-Harward commented 7 months ago

lm.onnx只是最后的argmax部分吧 这个是分阶段导出的

JennieGao-njust commented 7 months ago

lm.onnx只是最后的argmax部分吧 这个是分阶段导出的 直接用release的的lm.onnx来导出mnn,也报错Segemntation fault ,看了一下 Qwen-7B 的lm.mnn,是200M左右；您这边是能成功转换vl的lm head的mnn 吗？

JennieGao-njust commented 7 months ago

lm.onnx只是最后的argmax部分吧 这个是分阶段导出的

lm.onnx里面是4096到词表的线性层

wangzhaode commented 7 months ago

lm.onnx 与 visual.onnx 文件超过2GB； lm.onnx仅上传了计算图，没有上传权重；

wangzhaode commented 7 months ago

防止误解我还是删除掉吧

wangzhaode commented 7 months ago

使用onnx2mnn函数直接转这个lm.onnx,报错Segmentation fault

weight size太大了 超除了int范围，MNN需要做一下bugfix

JennieGao-njust commented 7 months ago

防止误解我还是删除掉吧

lm.onnx 与 visual.onnx 文件超过2GB； lm.onnx仅上传了计算图，没有上传权重；

使用onnx2mnn函数直接转这个lm.onnx,报错Segmentation fault

weight size太大了 超除了int范围，MNN需要做一下bugfix

是4096*151693？ 这里是怎么超出了呢

JennieGao-njust commented 7 months ago

防止误解我还是删除掉吧

lm.onnx 与 visual.onnx 文件超过2GB； lm.onnx仅上传了计算图，没有上传权重；

使用onnx2mnn函数直接转这个lm.onnx,报错Segmentation fault

weight size太大了 超除了int范围，MNN需要做一下bugfix

是4096*151693？ 这里是怎么超出了呢

是指的字节大小超出了吗 40961516934 ？ 我看Qwen-7B-chat官方给了mnn结果