Finetuning Chinese models

[stevezhang88]

看到你们展示的都是英文的交互界面，请问是否可以用中文来训练？ 这里也有一个问题，如果基于LLaMa训练的话，中文instruct是否有效？期待回答。谢谢。

[hendrydong]

您好，我们是支持中文的，但由于LLaMA 预训练中文语料较少，做微调的时候可能需要更多高质量语料才能达到较好效果。如果您有比较好的数据的话可以尝试，我们也在做一些尝试和迭代，会跟大家一并分享。

[nuoma]

我看到你们有提到glm，但是还没有放相关的资料上去是吗？谢谢

[shizhediao]

Hi， 目前开源的代码还不支持encoder-decoder类型的模型。glm版本我们正在测试代码正确性，这周会放出~

[paulrich1234]

所以在LLAMA 大部分是英文语料的前提下，使用Lora的模式去进行instruct 会有很大的语料数据偏差 ，进而达不到很好的效果？ 我的理解对吗？ 谢谢 大神

您好，我们是支持中文的，但由于LLaMA 预训练中文语料较少，做微调的时候可能需要更多高质量语料才能达到较好效果。如果您有比较好的数据的话可以尝试，我们也在做一些尝试和迭代，会跟大家一并分享。

[shizhediao]

所以在LLAMA 大部分是英文语料的前提下，使用Lora的模式去进行instruct 会有很大的语料数据偏差 ，进而达不到很好的效果？ 我的理解对吗？ 谢谢 大神

您好，我们是支持中文的，但由于LLaMA 预训练中文语料较少，做微调的时候可能需要更多高质量语料才能达到较好效果。如果您有比较好的数据的话可以尝试，我们也在做一些尝试和迭代，会跟大家一并分享。

是有这种可能的。如果有一些专有的中文大模型基座，进行finetune，效果会好很多

[stevezhang88]

cerebras发布了很多GPT基座，1.3B，2.7B，6.7B，13B。你们能用这些模型试试中文LoRA训练效果吗？期待。

[Martin-WMM]

我同样比较期待能够支持Encoder-Decoder的Fine-tune，我们有资源可以训练GLM-130B，但是苦于人少和技术能力差距，很难实现，期待你们对Encoder-Decoder架构的支持。

Hi， 目前开源的代码还不支持encoder-decoder类型的模型。glm版本我们正在测试代码正确性，这周会放出~

[shizhediao]

cerebras发布了很多GPT基座，1.3B，2.7B，6.7B，13B。你们能用这些模型试试中文LoRA训练效果吗？期待。

GPT类的基座模型可以直接使用LMFlow进行Finetune，欢迎大家在自己的高质量数据集上尝试并汇报结果

[shizhediao]

我同样比较期待能够支持Encoder-Decoder的Fine-tune，我们有资源可以训练GLM-130B，但是苦于人少和技术能力差距，很难实现，期待你们对Encoder-Decoder架构的支持。

Hi， 目前开源的代码还不支持encoder-decoder类型的模型。glm版本我们正在测试代码正确性，这周会放出~

感谢期待，Encoder-Decoder式的finetune会尽快支持。