Open guiniao opened 1 year ago
推理显存沾满了后,通过nvidia-smi,看到显存自动释放了,且推理还在继续,就解决了不会因为问题的变多,显存沾满,程序崩了,想问下,moss是怎么处理的,具体怎么做的,有清楚的吗,谢谢
推理显存沾满了后,通过nvidia-smi,看到显存自动释放了,且推理还在继续,就解决了不会因为问题的变多,显存沾满,程序崩了,想问下,moss是怎么处理的,具体怎么做的,有清楚的吗,谢谢