Closed xddun closed 9 months ago
fooocus这个算法让我很疑惑,不吃CPU计算,不吃显存,就占着很大内存,是怎么样的一个计算方式才会有这样的表现(监测来的)。
我有个疑问点,模型是否可以全部加载着放显存里,然后能节省模型加载的时间?目前这个占用方式让我很奇怪。
如果我开成API,显存40G,我更期望模型一直在显存里呆着(以全局变量的形式),从而没有太高数据吞吐延时。
up主可以考虑一下这个问题吗?
我也发现了这个问题。我猜想可能是 Fooocus 主要面向个人或小型团队本地作业使用,而普通台式机或工作站很容易配置到大的 RAM 而不太可能配一个 A40 或 A100,对大 RAM 优化是一个性价比高的方案。
我目前没有足够的能力也没有过多的精力来研究这一块儿的优化,虽然感觉修改起来不难。
你可以提 issue 到 Fooocus 的项目,看那边是否可以添加类似启动选项的参数来控制。
嗯嗯!
fooocus这个算法让我很疑惑,不吃CPU计算,不吃显存,就占着很大内存,是怎么样的一个计算方式才会有这样的表现(监测来的)。
我有个疑问点,模型是否可以全部加载着放显存里,然后能节省模型加载的时间?目前这个占用方式让我很奇怪。
如果我开成API,显存40G,我更期望模型一直在显存里呆着(以全局变量的形式),从而没有太高数据吞吐延时。
up主可以考虑一下这个问题吗?