baaivision / Emu3

Next-Token Prediction is All You Need
Apache License 2.0
1.73k stars 64 forks source link

模型太大了, 能否提供更小的版本? #14

Open win10ogod opened 1 month ago

win10ogod commented 1 month ago

模型太大了, 能否提供更小的版本?

ryanzhangfan commented 3 weeks ago

我们目前只训练了8B版本的模型,暂时没有更小的模型可以提供。后续会计划scale up或者scale down。

VacantHusky commented 1 week ago

能否int4量化?

win10ogod commented 1 week ago

能否int4量化?

int4量化後, 24g的3090仍然裝不下(僅供參考

ceci3 commented 1 week ago

能否int4量化?

可以

win10ogod commented 1 week ago

能否int4量化?

可以

你知道為何int4, 3090 24g仍然裝不下的原因嗎?(我遇到顯存不足提示)

ceci3 commented 1 week ago

能否int4量化?

可以

你知道為何int4, 3090 24g仍然裝不下的原因嗎?(我遇到顯存不足提示)

你跑的是哪个模型呀,batch size是多少呀,4bit模型参数只占4G显存,还有20G感觉应该是够的~

win10ogod commented 1 week ago

能否int4量化?

可以

你知道為何int4, 3090 24g仍然裝不下的原因嗎?(我遇到顯存不足提示)

你跑的是哪个模型呀,batch size是多少呀,4bit模型参数只占4G显存,还有20G感觉应该是够的~

emu3-gen 應該是因為需要長上下文生成圖像?我用原版的demo加上int4

ceci3 commented 1 week ago

能否int4量化?

可以

你知道為何int4, 3090 24g仍然裝不下的原因嗎?(我遇到顯存不足提示)

你跑的是哪个模型呀,batch size是多少呀,4bit模型参数只占4G显存,还有20G感觉应该是够的~

emu3-gen 應該是因為需要長上下文生成圖像?我用原版的demo加上int4

https://github.com/baaivision/Emu3/blob/main/image_generation.py#L16-L27 可以试下这几个模型放在其他卡上看看,或者试下transformers可不可以的offload kv cache到cpu。

我们FlagScale框架基于vllm优化了emu3的推理流程,可以后续会release在这里~ https://github.com/FlagOpen/FlagScale/pull/225

zhrli commented 1 week ago

能否int4量化?

可以

你知道為何int4, 3090 24g仍然裝不下的原因嗎?(我遇到顯存不足提示)

你跑的是哪个模型呀,batch size是多少呀,4bit模型参数只占4G显存,还有20G感觉应该是够的~

emu3-gen 應該是因為需要長上下文生成圖像?我用原版的demo加上int4

多模态图形理解,也爆了显存,4090上 怎么改int4?