Closed xiaoyjy closed 3 months ago
有点无语,把所有的模型都加载到显存中,然后推理。一个模型运行完再加载第二个不行吗?
是不是很像地主家的傻儿子的做事风格?
您好,我们后续有计划解决显存占用问题。如果您有相关专业性建议,可以随时联系我们。感谢您的关注
有点无语,把所有的模型都加载到显存中,然后推理。一个模型运行完再加载第二个不行吗?
是不是很像地主家的傻儿子的做事风格?