推理显存沾满了后，看到显存自动释放了，且推理还在继续，是怎么做到

OpenMOSS / MOSS

An open-source tool-augmented conversational language model from Fudan University

https://txsun1997.github.io/blogs/moss.html

Apache License 2.0

11.9k stars 1.14k forks source link

Open guiniao opened 1 year ago

guiniao commented 1 year ago

推理显存沾满了后，通过nvidia-smi，看到显存自动释放了，且推理还在继续，就解决了不会因为问题的变多，显存沾满，程序崩了，想问下，moss是怎么处理的，具体怎么做的，有清楚的吗，谢谢