search

hiyouga / LLaMA-Factory

Unified Efficient Fine-Tuning of 100+ LLMs (ACL 2024)
https://arxiv.org/abs/2403.13372
Apache License 2.0
35.46k stars 4.37k forks source link

qwen2-vl微调，freeze_vision_tower设为false时报错 #5324

Closed dlnlpchenliyu closed 3 months ago

dlnlpchenliyu commented 3 months ago

使用examples/train_lora/qwen2vl_lora_sft.yaml脚本微调，一切正常。 将freeze_vision_tower设置为false后，运行脚本报错：ValueError: Target module Conv3d(3, 1280, kernel_size=(2, 14, 14), stride=(2, 14, 14), bias=False) is not supported. Currently, only the following modules are supported: torch.nn.Linear, torch.nn.Embedding, torch.nn.Conv2d, transformers.pytorch_utils.Conv1D. 更多信息： torch 2.4.0+cu118 cuda 11.8 transformers 4.45.0.dev0(按照qwen2-vl的readme, pip install git+https://github.com/huggingface/transformers)

zxc351200 commented 3 months ago

请问一下为什么我使用了4.45.0.dev0，还是会出现AttributeError: 'NoneType' object has no attribute 'image_processor'这个错误

dlnlpchenliyu commented 3 months ago

请问一下为什么我使用了4.45.0.dev0，还是会出现AttributeError: 'NoneType' object has no attribute 'image_processor'这个错误

你的torch版本是多少？我之前也遇到了这个问题，torch升级到2.4.0就没这个问题了

zxc351200 commented 3 months ago

torch已经升级到2.4.0了，cuda是12.2，python版本试了好几个了都会报错。

dlnlpchenliyu commented 3 months ago

torch已经升级到2.4.0了，cuda是12.2，python版本试了好几个了都会报错。

我这边的配置： torch 2.4.0+cu118 cuda 11.8 transformers 4.45.0.dev0 python 3.10 此外，根据qwen2-vl的readme，还需要安装qwen-vl-utils。 此外，还可以看看datasets的版本是不是和推荐的版本一致。 如果这些都没问题，依然出现这个错误，就需要另请高明了～～

hiyouga commented 3 months ago

fixed