search

baaivision / Emu3

Next-Token Prediction is All You Need
Apache License 2.0
1.73k stars 64 forks source link

模型太大了, 能否提供更小的版本? #14

Open win10ogod opened 1 month ago

win10ogod commented 1 month ago

模型太大了, 能否提供更小的版本?

ryanzhangfan commented 3 weeks ago

我们目前只训练了8B版本的模型，暂时没有更小的模型可以提供。后续会计划scale up或者scale down。

VacantHusky commented 1 week ago

能否int4量化？

win10ogod commented 1 week ago

能否int4量化？

int4量化後, 24g的3090仍然裝不下(僅供參考

ceci3 commented 1 week ago

能否int4量化？

可以

win10ogod commented 1 week ago

能否int4量化？

可以

你知道為何int4, 3090 24g仍然裝不下的原因嗎?(我遇到顯存不足提示)

ceci3 commented 1 week ago

能否int4量化？

可以

你知道為何int4, 3090 24g仍然裝不下的原因嗎?(我遇到顯存不足提示)

你跑的是哪个模型呀，batch size是多少呀，4bit模型参数只占4G显存，还有20G感觉应该是够的～

win10ogod commented 1 week ago

能否int4量化？

可以

你知道為何int4, 3090 24g仍然裝不下的原因嗎?(我遇到顯存不足提示)

你跑的是哪个模型呀，batch size是多少呀，4bit模型参数只占4G显存，还有20G感觉应该是够的～

emu3-gen 應該是因為需要長上下文生成圖像?我用原版的demo加上int4

ceci3 commented 1 week ago

能否int4量化？

可以

你知道為何int4, 3090 24g仍然裝不下的原因嗎?(我遇到顯存不足提示)

你跑的是哪个模型呀，batch size是多少呀，4bit模型参数只占4G显存，还有20G感觉应该是够的～

emu3-gen 應該是因為需要長上下文生成圖像?我用原版的demo加上int4

https://github.com/baaivision/Emu3/blob/main/image_generation.py#L16-L27 可以试下这几个模型放在其他卡上看看，或者试下transformers可不可以的offload kv cache到cpu。

我们FlagScale框架基于vllm优化了emu3的推理流程，可以后续会release在这里～ https://github.com/FlagOpen/FlagScale/pull/225

zhrli commented 1 week ago

能否int4量化？

可以

你知道為何int4, 3090 24g仍然裝不下的原因嗎?(我遇到顯存不足提示)

你跑的是哪个模型呀，batch size是多少呀，4bit模型参数只占4G显存，还有20G感觉应该是够的～

emu3-gen 應該是因為需要長上下文生成圖像?我用原版的demo加上int4

多模态图形理解，也爆了显存，4090上 怎么改int4？