search

baaivision / Emu

Emu Series: Generative Multimodal Models from BAAI
https://baaivision.github.io/emu2/
Apache License 2.0
1.66k stars 86 forks source link

Emu2-Gen 所需的显存是多少啊 #67

Closed DaBaiTuu closed 11 months ago

DaBaiTuu commented 11 months ago

请问有没有对于低硬件平台的优化或计划，有的话有说明文档么

ryanzhangfan commented 11 months ago

显存占用

  1. 如果使用bf16精度，那么Emu2-Gen模型需要占用77GB显存，inference建议需要具有至少80GB显存（包含模型占用的77GB）。
  2. 如果MLLM的部分使用int4量化，则需要占用大约27G显存。

低硬件平台优化

由于人力有限，我们暂时没有在低硬件平台上优化的计划。

DaBaiTuu commented 11 months ago

显存占用

1. 如果使用bf16精度，那么Emu2-Gen模型需要占用77GB显存，inference建议需要具有至少80GB显存（包含模型占用的77GB）。

2. 如果MLLM的部分使用int4量化，则需要占用大约27G显存。

低硬件平台优化

由于人力有限，我们暂时没有在低硬件平台上优化的计划。

好的好的谢谢，本来是想本地部署下试试的