search

OpenGVLab / InternVL

[CVPR 2024 Oral] InternVL Family: A Pioneering Open-Source Alternative to GPT-4o. 接近GPT-4o表现的开源多模态对话模型
https://internvl.readthedocs.io/en/latest/
MIT License
5.52k stars 428 forks source link

如何使用v100微调Mini-InternVL-Chat-2B-V1-5，v100不支持bfloat16 #355

Closed 1SingleFeng closed 1 month ago

1SingleFeng commented 2 months ago

我想使用v100微调Mini-InternVL-Chat-2B-V1-5，但是v100不支持vfloat16，请问应该如何修改代码和模型使其能够完成训练

whai362 commented 2 months ago

可以试试看正常的float16，或者等我们后续官方支持float16，在那之前如果你试work了，欢迎给我们提pr

feihuamantian commented 2 months ago

https://github.com/OpenGVLab/InternVL/issues/351

PoTsui99 commented 1 month ago

基本上就是两个改动:

  1. 注意力机制从fast_attn改为eager
  2. 模型改为float16 屏幕截图 2024-07-25 110908 屏幕截图 2024-07-25 111206 PS: 我是llm和visual encoder分别加载的, 所以需要单独将mlp projector也转为float16...
1SingleFeng commented 1 month ago

基本上就是两个改动:

  1. 注意力机制从fast_attn改为eager
  2. 模型改为float16 屏幕截图 2024-07-25 110908 屏幕截图 2024-07-25 111206 PS: 我是llm和visual encoder分别加载的, 所以需要单独将mlp projector也转为float16...

太感谢了，有时间我试一下

LaurenceSu1037 commented 4 weeks ago

2. 模型改为float16

你好，想问一下这个地方除了只有这vision_model和llm需要将torch.type改为torch.float16吗？图1中出现的model=InternVLChatModel.from_pretrained()这里不用改吗？仍然保持torch.dtype=torch.bfloat16?