liangwq / Chatglm_lora_multi-gpu

chatglm多gpu用deepspeed和
404 stars 61 forks source link

一些问题 #9

Closed firslov closed 1 year ago

firslov commented 1 year ago
  1. 朋友,readme里CSDN的link好像是有误的;
  2. 是不是目前大部分finetune都是用lora算法训练的cross attention那部分权重,有没有微调整个模型的?
liangwq commented 1 year ago
  1. 朋友,readme里CSDN的link好像是有误的;
  2. 是不是目前大部分finetune都是用lora算法训练的cross attention那部分权重,有没有微调整个模型的?

是的,现在只放出来lora微调部分,csdn是介绍更全面 fintune整个的其实GLM官方github就有,一般设备调不动,并且对调试要求很高

liangwq commented 1 year ago

glm fintune部分代码:https://github.com/THUDM/GLM-130B

firslov commented 1 year ago

readme里csdn的链接还是有问题啊,打开之后是一个发布文章的界面