Open BaofengZan opened 3 weeks ago
模型使用了fuse attention , cpu端结果正常,切换成cuda后,提示上面的问题,并且每次结果都是不同的。是因为是不支持的问题吗?
CUDA后端还不支持fuse attention的算子
好的。 感谢
另外,我导出mnn模型时,不选用fuseAttention,但是使用cuda后端时,运行多次,结果有时候对,有时候不对?这种可能是什么原因呢?
模型使用了fuse attention , cpu端结果正常,切换成cuda后,提示上面的问题,并且每次结果都是不同的。是因为是不支持的问题吗?