search

Tlntin / qwen-ascend-llm

Apache License 2.0
25 stars 2 forks source link

onnx 2GB容量限制 #2

Closed Zlzzzupup closed 3 weeks ago

Zlzzzupup commented 1 month ago

您好，我在测试qwen-7b时通过转onnx会出错，直接中断。但是我测试了qwen-1.5b转onnx是正常的。因为我了解到onnx单个文件是有大小限制的，所以想问下这块有测试过更大的模型吗？

Tlntin commented 1 month ago

暂时没有测试过更大的，不过，之前试过chatglm3-6b，也超过2GB了，没有出错。 你说的出错是pytorch转onnx时，超过2GB会出错？

Tlntin commented 3 weeks ago

qwen2-1.5b已经是3GB左右的模型文件占用了，所以应该和2GB容量限制无关，超过2GB会拆分成一堆小文件，所以大概率和他无关，可能是你的内存不够用了哈。