OpenMOSS / MOSS

An open-source tool-augmented conversational language model from Fudan University
https://txsun1997.github.io/blogs/moss.html
Apache License 2.0
11.9k stars 1.14k forks source link

moss如何转onnx呢? #283

Closed JIEKEXIAN closed 1 year ago

JIEKEXIAN commented 1 year ago

我试过把moss转onnx来提速,但是发现转成onnx之后速度反而变慢了,不知道大家有没有转成onnx并成功提速的呢?都是在GPU上对比的。

yanguowei316 commented 1 year ago

我试过把moss转onnx来提速,但是发现转成onnx之后速度反而变慢了,不知道大家有没有转成onnx并成功提速的呢?都是在GPU上对比的。

请问您是如何转为onnx格式的 ?

JIEKEXIAN commented 1 year ago

就是用的torch.onnx.export()这个接口,指定好输入和输出就可以。

yanguowei316 commented 1 year ago

就是用的torch.onnx.export()这个接口,指定好输入和输出就可以。

N您可以分享一下代码吗?我在转换的时候一个劲的遇到错误,

JIEKEXIAN commented 1 year ago

就是用的torch.onnx.export()这个接口,指定好输入和输出就可以。

N您可以分享一下代码吗?我在转换的时候一个劲的遇到错误,

JIEKEXIAN commented 1 year ago

就是用的torch.onnx.export()这个接口,指定好输入和输出就可以。

N您可以分享一下代码吗?我在转换的时候一个劲的遇到错误,

我用的fastgpt转的,可以参考下这个:https://zhuanlan.zhihu.com/p/533629034,不过源码你要改下

ChuYy-712 commented 2 weeks ago

就是用的torch.onnx.export()这个接口,指定好输入和输出就可以。

N您可以分享一下代码吗?我在转换的时候一个劲的遇到错误,

我用的fastgpt转的,可以参考下这个:https://zhuanlan.zhihu.com/p/533629034,不过源码你要改下。

请问你转的是哪个模型呢