问一下，关于CodeShell对编程语言的支持程度，和模型微调方法

WisdomShell / codeshell

A series of code large language models developed by PKU-KCL

http://se.pku.edu.cn/kcl

Other

1.62k stars 119 forks source link

Open a793181018 opened 11 months ago

a793181018 commented 11 months ago

1.请问，CodeShell支持Csharp/C#的支持程度如何？ 2.请问，模型支持哪些AI框架的微调。如DeepSpeed、Lora？

ruixie commented 11 months ago

1、CodeShell支持绝大部分主流编程语言，其中包括C# 2、CodeShell提供的模型代码为标准的transformers格式，可以通过transformers架构轻松使用DeepSpeed、Lora等方法，具体可以参考我们给出的微调示例：

a793181018 commented 10 months ago

1.请问，可以自定义数据格式吗？还是只能通过用户与助手的问答形式进行训练数据集组织 2.请问，可以通过Class的数据成员信息如类名、类成员名、类方法名、作为主干而生成训练数据集格式吗