search

THUDM / VisualGLM-6B

Chinese and English multimodal conversational language model | 多模态中英双语对话语言模型
Apache License 2.0
4.09k stars 416 forks source link

有训练代码吗？ #37

Open vanpersie32 opened 1 year ago

vanpersie32 commented 1 year ago

这块有训练代码吗？从头开始训练的版本，而不是finetune版本

freelancerllm commented 1 year ago

应该是可以参考https://github.com/Vision-CAIR/MiniGPT-4魔改的

Sleepychord commented 1 year ago

您好， @vanpersie32 model文件夹里就是预训练时候用的模型部分代码，finetune和pretrain基本一致，主要是数据加载的时候和使用的训练策略的区别。

dizhenx commented 1 year ago

现在的训练脚本，即使用lora依然对显存要求很高，大约30G。单卡10G能微调吗？或者多卡训练也行

unmaned-air commented 1 year ago

您好， @vanpersie32 model文件夹里就是预训练时候用的模型部分代码，finetune和pretrain基本一致，主要是数据加载的时候和使用的训练策略的区别。

您好 ，您能细说吗，谢谢您，不胜感激

unmaned-air commented 1 year ago

您好， @vanpersie32 model文件夹里就是预训练时候用的模型部分代码，finetune和pretrain基本一致，主要是数据加载的时候和使用的训练策略的区别。

您好，完成这个训练过程需要啥规模的算力呢十几张A100够吗