search

LLaVA-VL / LLaVA-NeXT

Apache License 2.0
2.38k stars 164 forks source link

LLaVA-NeXT-Video-34B-DPO 模型无法启动，报错 #22

Open csm12321 opened 3 months ago

csm12321 commented 3 months ago

用的 LLaVA-NeXT-Video-34B-DPO 这个模型， https://github.com/LLaVA-VL/LLaVA-NeXT git checkout video_inference这个分支的代码，为什么我的测试起不来，报错（ 1、stopping_criteria = KeywordsStoppingCriteria(keywords, tokenizer, input_ids) 屏蔽后报 2、 2、llava_arch.LlavaMetaForCausalLM.prepare_inputs_labels_for_multimodal---->concat_images = torch.cat(images_list, dim=0), 输出为None ）

有没有把这个模型安排起来的，，，LLaVA-NeXT-Video-34B-DPO用到了clip-vit-large-patch14-336（这个模型）， 是不是代码有点问题。

ZhangYuanhan-AI commented 3 months ago

conv_mode 是 mistral_direct