[Question]: 进行chatglm2 lora微调时，设置pipeline parallel:4，报错 module 'paddlenlp.transformers.chatglm_v2.modeling' has no attribute 'ChatGLMv2ForCausalLMPipe'

PaddlePaddle / PaddleNLP

👑 Easy-to-use and powerful NLP and LLM library with 🤗 Awesome model zoo, supporting wide-range of NLP tasks from research to industrial applications, including 🗂Text Classification, 🔍 Neural Search, ❓ Question Answering, ℹ️ Information Extraction, 📄 Document Intelligence, 💌 Sentiment Analysis etc.

Apache License 2.0

11.71k stars 2.86k forks source link

请提出你的问题

前提条件：单机单卡已经跑通chatglm2的lora微调训练代码；llama的多卡pp并行训练已跑通。
问题场景：想进一步尝试单机多卡，设置/chatglm2/lora_argument.json配置文件中的 "pipeline_parallel_degree": 4，然后参照官网样例，启动命令行：srun --gres=gpu:4 python3 -u -m paddle.distributed.launch --gpus "0,1,2,3" finetune_generation.py ./chatglm2/lora_argument.json

所遇问题：跑chatglm2的多卡pp并行时会报错找不到ChatGLMv2ForCausalLMPipe类，错误代码行显示在：

File "/home/LAB/wangzy/paddle/PaddleNLP/llm/finetune_generation.py", line 183, in main
model = AutoModelForCausalLMPipe.from_pretrained(

Q：请问paddlenlp支持chatglm2的pp并行/tp并行策略吗？以及如何解决该问题？（错误截图如下）谢谢！

PaddlePaddle / PaddleNLP

[Question]: 进行chatglm2 lora微调时，设置pipeline parallel:4，报错 module 'paddlenlp.transformers.chatglm_v2.modeling' has no attribute 'ChatGLMv2ForCausalLMPipe' #8593

请提出你的问题