search

yuanzhoulvpi2017 / zero_nlp

中文nlp解决方案(大模型、数据、模型、训练、推理)
MIT License
3.04k stars 369 forks source link

关于训练LLava的问题 #195

Open weiaicunzai opened 3 weeks ago

weiaicunzai commented 3 weeks ago

谢谢大佬的开源。

我想请教一下，我如果不用deepspeed和lora，就普通的冻住vision encoder和llm部分训练，是不是只需要判断是否requires_grad == True 就能统计哪些参数是参与训练的了？