search

baaivision / Emu

Emu Series: Generative Multimodal Models from BAAI
https://baaivision.github.io/emu2/
Apache License 2.0
1.66k stars 86 forks source link

内存要求 #68

Open CHY-coder opened 11 months ago

CHY-coder commented 11 months ago

我在运行 Native PyTorch Version的Emu2 & Emu2-Chat时，进程被kill了，是内存爆了，内存大概需要多大，我的服务器目前只有125的内存。

ryanzhangfan commented 11 months ago

直接参照README.md的方式init并且load模型的话，需要140G内存，因为要先初始化一个fp32的模型，然后再转成bf16精度。

可以尝试结合accelerate的init_empty_weights和load_checkpoint_and_dispatch来初始化并加载模型，这样能够减少内存使用，这种方式大约需要75GB内存。