search

OpenGVLab / InternVL

[CVPR 2024 Oral] InternVL Family: A Pioneering Open-Source Alternative to GPT-4o. 接近GPT-4o表现的开源多模态对话模型
https://internvl.readthedocs.io/en/latest/
MIT License
5.24k stars 409 forks source link

微调Mini-InternVL-Chat-2B-V1-5需要多少显存？ #317

Closed Single430 closed 1 month ago

Single430 commented 1 month ago

你好，目前使用脚本./shell/internlm2_1_8b_dynamic/internvl_chat_v1_5_internlm2_1_8b_dynamic_res_finetune.sh进行微调遇到OOM问题

配置是 2 x 4090 即使修改BATCH_SIZE，PER_DEVICE_BATCH_SIZE依旧会OOM 所以，请问微调Mini-InternVL-Chat-2B-V1-5需要多少显存？ （按照你们文档细节 16 GPUs，不会是需要 16 x A100(80G)吧？）

1SingleFeng commented 1 month ago

你好，目前使用脚本./shell/internlm2_1_8b_dynamic/internvl_chat_v1_5_internlm2_1_8b_dynamic_res_finetune.sh进行微调遇到OOM问题

配置是 2 x 4090 即使修改BATCH_SIZE，PER_DEVICE_BATCH_SIZE依旧会OOM 所以，请问微调Mini-InternVL-Chat-2B-V1-5需要多少显存？ （按照你们文档细节 16 GPUs，不会是需要 16 x A100(80G)吧？）

据我了解，微调8B的模型，全参数微调最少需要8张v100（32GB），lora微调最少需要2张v100（32GB）

Single430 commented 1 month ago

你好，目前使用脚本./shell/internlm2_1_8b_dynamic/internvl_chat_v1_5_internlm2_1_8b_dynamic_res_finetune.sh进行微调遇到OOM问题

配置是 2 x 4090 即使修改BATCH_SIZE，PER_DEVICE_BATCH_SIZE依旧会OOM 所以，请问微调Mini-InternVL-Chat-2B-V1-5需要多少显存？ （按照你们文档细节 16 GPUs，不会是需要 16 x A100(80G)吧？）

据我了解，微调8B的模型，全参数微调最少需要8张v100（32GB），lora微调最少需要2张v100（32GB）

收到，非常感谢。