mrhan1993 / Fooocus-API

FastAPI powered API for Fooocus
GNU General Public License v3.0
558 stars 148 forks source link

建议:是否可对模型提速 #72

Closed xddun closed 9 months ago

xddun commented 9 months ago

fooocus这个算法让我很疑惑,不吃CPU计算,不吃显存,就占着很大内存,是怎么样的一个计算方式才会有这样的表现(监测来的)。

我有个疑问点,模型是否可以全部加载着放显存里,然后能节省模型加载的时间?目前这个占用方式让我很奇怪。

如果我开成API,显存40G,我更期望模型一直在显存里呆着(以全局变量的形式),从而没有太高数据吞吐延时。

up主可以考虑一下这个问题吗?

konieshadow commented 9 months ago

我也发现了这个问题。我猜想可能是 Fooocus 主要面向个人或小型团队本地作业使用,而普通台式机或工作站很容易配置到大的 RAM 而不太可能配一个 A40 或 A100,对大 RAM 优化是一个性价比高的方案。

我目前没有足够的能力也没有过多的精力来研究这一块儿的优化,虽然感觉修改起来不难。

你可以提 issue 到 Fooocus 的项目,看那边是否可以添加类似启动选项的参数来控制。

xddun commented 9 months ago

嗯嗯!