self-llm - Githubissues

KMnO4-zx commented 1 year ago

你是否已经阅读并同意《Datawhale开源项目指南》？

[X] 我已阅读并同意《Datawhale开源项目指南》

你是否已经阅读并同意《Datawhale开源项目行为准则》？

[X] 我已阅读并同意《Datawhale开源项目行为准则》

项目简介

本项目是一个围绕开源大模型、针对国内初学者、基于 AutoDL 平台的中国宝宝专属大模型教程，针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导，简化开源大模型的部署、使用和应用流程，让更多的普通学生、研究者更好地使用开源大模型，帮助开源、自由的大模型更快融入到普通学习者的生活中。

本项目的主要内容包括：

基于 AutoDL 平台（可扩展，例如阿里云）的开源 LLM 环境配置指南，针对不同模型要求提供不同的详细环境配置步骤；
针对国内外主流开源 LLM 的部署使用教程，包括 LLaMA、ChatGLM、InternLM 等；
开源 LLM 的部署应用指导，包括命令行调用、在线 Demo 部署、LangChain 框架集成等；
开源 LLM 的全量微调、高效微调方法，包括分布式全量微调、LoRA、ptuning 等。

项目的主要内容就是教程，让更多的学生和未来的从业者了解和熟悉开源大模型的食用方法！任何人都可以提出issue或是提交PR，共同构建维护这个项目。

想要深度参与的同学可以联系我们，我们会将你加入到项目的维护者中。

立项理由

什么是大模型？

大模型（LLM）狭义上指基于深度学习算法进行训练的自然语言处理（NLP）模型，主要应用于自然语言理解和生成等领域，广义上还包括机器视觉（CV）大模型、多模态大模型和科学计算大模型等。

百模大战正值火热，开源 LLM 层出不穷。如今国内外已经涌现了众多优秀开源 LLM，国外如 LLaMA、Alpaca，国内如 ChatGLM、BaiChuan、InternLM（书生·蒲语）等。开源 LLM 支持用户本地部署、私域微调，每一个人都可以在开源 LLM 的基础上打造专属于自己的独特大模型。

然而，当前普通学生和用户想要使用这些大模型，需要具备一定的技术能力，才能完成模型的部署和使用。对于层出不穷又各有特色的开源 LLM，想要快速掌握一个开源 LLM 的应用方法，是一项比较有挑战的任务。

本项目旨在首先基于核心贡献者的经验，实现国内外主流开源 LLM 的部署、使用与微调教程；在实现主流 LLM 的相关部分之后，我们希望充分聚集共创者，一起丰富这个开源 LLM 的世界，打造更多、更全面特色 LLM 的教程。星火点点，汇聚成海。

我们希望成为 LLM 与普罗大众的阶梯，以自由、平等的开源精神，拥抱更恢弘而辽阔的 LLM 世界。

项目受众

本项目适合以下学习者：

想要使用或体验 LLM，但无条件获得或使用相关 API；
希望长期、低成本、大量应用 LLM；
对开源 LLM 感兴趣，想要亲自上手开源 LLM；
NLP 在学，希望进一步学习 LLM；
希望结合开源 LLM，打造领域特色的私域 LLM；
以及最广大、最普通的学生群体。

项目亮点

datawhale现有的大模型教程，大多是基于openai或者langchain的教程，并没有关于开源大模型如何使用的教程。在担任过暑期夏令营助教和最近10月11月的几次大模型相关的组队学习助教，我深感大家对于开源大模型的使用并没有我们想象的水平那么高，更多的问题还是关于如何部署，如何跑起来，怎么才能用开源大模型的api等这些技术力比较低的问题上。所以我和雨衡认为有必要做一个关于开源大模型食用指南的教程，补齐datawhale大模型版图的最后一块拼图。

在我们的项目中，每一个教程都是完全独立的，每一个教程都可以单独拿出来发到知乎，CSDN，奇想星球或是公众号。所以在编写教程过程中，应该适当考虑摒弃先做完，再内测、再发布的传统流程，可以边做边内测边发布。比如12月份的趋动云组队学习，就可以略微修改教程使之适应趋动云平台。

项目规划

本项目拟围绕开源 LLM 应用全流程组织，包括环境配置及使用、部署应用、微调等，每个部分覆盖主流及特点开源 LLM：

已支持模型

InternLM
- [ ] InternLM-Chat-7B Transformers 部署调用
- [x] InternLM-Chat-7B FastApi 部署调用
- [x] InternLM-Chat-7B WebDemo @不要葱姜蒜
- [x] Lagent+InternLM-Chat-7B-V1.1 WebDemo @不要葱姜蒜
- [x] 浦语灵笔图文理解&创作 WebDemo @不要葱姜蒜
- [ ] InternLM-Chat-7B 接入 LangChain 框架 @ Logan Zou
- [ ] InternLM-Chat-7B Lora 微调
- [ ] InternLM-Chat-7B ptuning 微调
- [ ] InternLM-Chat-7B 全量微调
ChatGLM
- [ ] ChatGLM3-6B Transformers 部署调用
- [ ] ChatGLM3-6B FastApi 部署调用
- [x] ChatGLM3-6B chat WebDemo @不要葱姜蒜
- [x] ChatGLM3-6B Code Interpreter WebDemo @不要葱姜蒜
- [ ] ChatGLM3-6B 接入 LangChain 框架 @ Logan Zou
- [ ] ChatGLM3-6B Lora 微调 @ Logan Zou
- [ ] ChatGLM3-6B ptuning 微调
- [ ] ChatGLM3-6B 全量微调
Qwen
- [ ] Qwen-7B-chat Transformers 部署调用
- [ ] Qwen-7B-chat FastApi 部署调用
- [ ] Qwen-7B-chat WebDemo
- [ ] Qwen-7B-chat Lora 微调
- [ ] Qwen-7B-chat ptuning 微调
- [ ] Qwen-7B-chat 全量微调
Yi
- [ ] Yi-7B-base WebDemo (Yi 暂时没有chat模型)
llama2
- [ ] llama2-7B-chinese-chat WebDemo
- [ ] llama2-7B-chinese-chat Lora 微调 @ Logan Zou
- [ ] llama2-7B-chinese-chat 全量微调 @ Logan Zou
欢迎大家积极提出issue和PR

LangChain

[ ] LangChain 基于开源大模型构建问答链 @ Logan Zou
[ ] LangChain 使用开源大模型构建 embedding @ Logan Zou
[ ] 基于本地大模型构建应用 @ Logan Zou
欢迎大家提出issue和PR

通用环境配置

[x] pip、conda 换源 @不要葱姜蒜
[x] AutoDL 开放端口 @不要葱姜蒜
模型下载
- [x] hugging face @不要葱姜蒜
- [x] hugging face 镜像下载 @不要葱姜蒜
- [x] modelscope @不要葱姜蒜
- [x] git-lfs @不要葱姜蒜
- [x] Openxlab