DeepLearning

[kiah2008]

https://github.com/THUDM/ChatGLM-6B

int4 quant https://arxiv.org/abs/2301.12017

百万级别语言模型 https://github.com/LianjiaTech/BELLE

https://zhuanlan.zhihu.com/p/616151762 2023/3/26 更新-- ChatGLM+lora方法

斯坦福的Alpaca 斯坦福的 Alpaca 模型基于 LLaMA-7B 和指令微调，仅使用约 5 万条训练数据，就能达到类似 GPT-3.5 的效果。坦福基于 Meta 的 LLaMA 7B 模型微调出一个新模型 Alpaca。该

研究让 OpenAI 的 text-davinci-003 模型以 self-instruct 方式生成 52K 指令遵循（instruction-following）样本，以此作为 Alpaca 的训练数据。研究团队已将训练数据、生成训练数据的代码和超参数开源，后续还将发布模型权重和训练代码。

资源列表

项目地址：https://github.com/tatsu-lab/stanford_alpaca 试用地址：https://alpaca-ai-custom6.ngrok.io/ 清华的ChatGLM-6B ChatGLM-6B是清华大学知识工程和数据挖掘小组（Knowledge Engineering Group (KEG) & Data Mining at Tsinghua University）发布的一个开源的对话机器人。根据官方介绍，这是一个千亿参数规模的中英文语言模型。并且对中文做了优化。本次开源的版本是其60亿参数的小规模版本，约60亿参数，本地部署仅需要6GB显存（INT4量化级别）。

资源列表：

代码仓库：https://github.com/THUDM/ChatGLM-6B

ChatGLM--lora方案 一种平价的chatgpt实现方案，基于清华的ChatGLM-6B+ LoRA 进行finetune.

代码仓：https://github.com/mymusise/ChatGLM-Tuning

代码仓：https://github.com/ssbuild/chatglm_finetuning

Alpaca-lora Alpaca-Lora (羊驼-Lora)，可以认为是 ChatGPT 轻量级的开源版本，它使用 Lora (Low-rank Adaptation) 技术在 Meta 的 LLaMA 7B 模型上微调，只需要训练很小一部分参数就可以获得媲美 Standford Alpaca 模型的效果；

资源列表

Alpaca-Lora 地址：https://github.com/tloen/alpaca-lora Standford Alpaca 地址：https://github.com/tatsu-lab/stanford_alpaca Lora 的论文地址：https://arxiv.org/abs/2106.09685 LLaMA-7B-HF 模型地址：https://huggingface.co/decapoda-research/llama-7b-hf Lora 参数地址：https://huggingface.co/tloen/alpaca-lora-7b 如何优雅的下载huggingface-transformers模型: https://zhuanlan.zhihu.com/p/47 ChatRWKV

1.算力。我平时用上百张A100训练，有需要可以用上千张。其实如果有经验，一个人就可以炼100B模型。训练代码：GitHub - BlinkDL/RWKV-LM ChatRWKV是对标ChatGPT的开源项目，希望做“大规模语言模型的Stable Diffusion”。

2. 数据。有国外国内多个团队收集整理数据，包括收集RLHF数据。
3. 模型。ChatRWKV采用我设计的RWKV架构（魔改RNN，是迄今唯一看齐transformer性能的纯RNN，梯度可以无限走，也能并行化，拥有RNN和transformer的所有优点），效率高于GPT（运行快，省显存，适合在端侧离线运行），不仅适用于语言模型，也有潜力成为未来AI模型的基础。现已scale到14B验证，等大语料发布后再逐步scale到100B+【补充为何RWKV这样强：RWKV几乎不碰信息channel，它们就只是exponential decay而已，没有更多的非线性。其它RNN在上面的非线性太多，容易破坏信息】。 资源列表：

代码仓：https://github.com/BlinkDL/ChatRWKV

中文教程：PENG Bo：参与 ChatRWKV 项目，做开源 ChatGPT（可以在每个人电脑和手机直接运行的）

中文Alpaca训练： 本项目基于 Stanford Alpaca ，Stanford Alpaca 的目标是构建和开源一个基于LLaMA的模型。 Stanford Alpaca 的种子任务都是英语，收集的数据也都是英文，因此训练出来的模型未对中文优化。

本项目目标是促进中文对话大模型开源社区的发展。本项目针对中文做了优化，模型调优仅使用由ChatGPT生产的数据（不包含任何其他数据）。项目包含以下内容:

175个中文种子任务 生成数据的代码 0.5M生成的数据 基于BLOOMZ-7B1-mt优化后的模型 资源列表：

代码仓库：https//http://github.com/LianjiaTech/BELLE 模型基于Bloom：https//github.com/NouamaneTazi/bloomz.cpp

中文Alpaca-lora训练 这个模型是在Meta开源的LLaMA基础上，参考Alpaca和Alpaca-LoRA两个项目，对中文进行了训练，并且取得了初步的效果。

https://github.com/LC1332/Chinese-alpaca-lora

[kiah2008]

https://huggingface.co/docs/transformers/model_doc/bloom

[kiah2008]

https://github.com/tatsu-lab/stanford_alpaca

[kiah2008]

Understanding INT4 Quantization for Transformer Models: Latency Speedup, Composability, and Failure Cases https://arxiv.org/abs/2301.12017

[kiah2008]

chatglm 6b SwissArmyTransformer: 一个Transformer统一编程框架，ChatGLM-6B已经在SAT中进行实现并可以进行P-tuning微调。 ChatGLM-MNN: 一个基于 MNN 的 ChatGLM-6B C++ 推理实现，支持根据显存大小自动分配计算任务给 GPU 和 CPU ChatGLM-Tuning: 基于 LoRA 对 ChatGLM-6B 进行微调。类似的项目还包括 Humanable ChatGLM/GPT Fine-tuning | ChatGLM 微调 langchain-ChatGLM：基于本地知识的 ChatGLM 应用，基于LangChain bibliothecarius：快速构建服务以集成您的本地数据和AI模型，支持ChatGLM等本地化模型接入。 闻达：大型语言模型调用平台，基于 ChatGLM-6B 实现了类 ChatPDF 功能 JittorLLMs：最低3G显存或者没有显卡都可运行 ChatGLM-6B FP16， 支持Linux、windows、Mac部署 以下是部分针对本项目的教程/文档：

Windows部署文档

[kiah2008]

https://github.com/OAID/TengineInferPipe

[kiah2008]

nn 深度学习 https://zh.d2l.ai/chapter_preface/index.html