Compiled oneflow model Used more GPU Memory

[Shiroha-Key]

当我在使用oneflow优化模型 推理自定义模型时发生了显存爆炸的问题，当我不开oneflow优化时并不会炸显存，

于是我回到example测试了推理时模型的显存占用，结果发现占用确实变多了，按理来说不应该会这样

难道说oneflow在第一次compile时，用oneflow模型替换了torch模型，但是没有将torch模型卸载回cpu？

请问oneflow编译模型，是否会占用显存变多？ 或是环境和显卡导致的？

我的环境是3090显卡，cuda11.8 cudnn8.6 以及torch2.1

[strint]

请问oneflow编译模型，是否会占用显存变多

使用 oneflow 后端时是会变多一些。编译时会多占用一些做编译 autotuning，运行时的输出会多占用一点（一般编译 unet 不明显，但是编译 vae 会明显一点）

参考：https://github.com/siliconflow/onediff/issues/408

[Shiroha-Key]

看到了 感谢