llm-research

[linjh1118]

你是否已经阅读并同意《Datawhale开源项目指南》？

• [X] 我已阅读并同意《Datawhale开源项目指南》

你是否已经阅读并同意《Datawhale开源项目行为准则》？

• [X] 我已阅读并同意《Datawhale开源项目行为准则》

项目简介

我们致力于建立一个LLM论文解读笔记仓库，我们将集结LLM领域的经典论文，然后为这些论文提供解读笔记。

通过LLM Research，研究人员可以迅速查阅到LLM领域的重要论文，无需费时费力地查找和筛选。并且若不想花太多时间细读原文，本仓库也提供了这些重点论文的相应解读笔记(每篇笔记分为TLDR简版和精读版)。

本仓库的预览版本: LLM-Research

立项理由

大型语言模型在当今技术领域占据重要地位，其在自然语言处理、文本生成、信息检索等方面的广泛应用不断拓展。随着这一领域的迅速发展，我们意识到研究人员需要一个可供他们快速系统了解LLM基础论文的解读笔记仓库。

如今有许多LLM领域的研究论文，但为了获取全面的了解，研究人员往往需要花费大量时间筛选和阅读这些基础文献。LLM Research 的创立旨在为研究人员提供一个便捷的途径，集结LLM领域的经典论文，并提供论文的解读笔记供简单了解or深入学习这些论文。这种深度解析旨在帮助研究人员更好地理解论文的核心概念，并提供有深度的领域知识。

我们相信，通过LLM Research，研究人员可以更轻松地跟踪LLM领域的最新进展，拓展他们的知识边界。

项目受众

• 对大模型科研感兴趣的本科生，研究生
• 对深度学习和NLP有基本了解的本科生，研究生

项目亮点

如今有许多LLM领域的研究论文，但为了获取全面的了解，研究人员往往需要花费大量时间筛选和阅读这些基础文献。 LLM Research 的创立旨在为研究人员提供一个便捷的途径，集结LLM领域的经典论文，并提供论文的解读笔记供感兴趣的科研人员简单了解or深入学习。

相关LLM仓库

• Awesome-LLM仓库由Xin Cheng等人创建，其中汇总了LLM中各方向的高质量论文，同时也包含针对LLM训练，部署应用，入门博客教程等各种资料的地址。
• ICL_PaperList仓库由Qingxiu Dong等人创建，其中汇总了LLM子方向ICL的高质量论文，同时也孵化出了一篇优秀的综述。
• 邹雨衡, 长琴, 玉琳和众多datawhale开源贡献者一起创作了datawhalechina/prompt-engineering-for-developers，详实地介绍了prompt engineering，如何用chatgpt和langchain搭建LLM应用，如何使用 Gradio 搭建生成式 AI 应用等内容。
• 邹雨衡的动手写LLM应用开发是一个面向小白开发者的大模型应用开发教程，旨在结合个人知识库助手项目，通过一个课程完成大模型开发的重点入门。此教程不仅包含了很多LLM开发的实战知识，其对LLM各方面基础知识也进行全面介绍。
• 长琴 等人的datawhalechina/hugging-llm详细地介绍了ChatGPT原理、使用和应用。读者学习之后，即可熟练地编写相应代码来调用openai的api进而完成NLP各种下游任务。
• 陈安东和张帆的datawhalechina/so-large-lm对大模型做出了一个详细的综述，介绍了大模型的技术内容(数据准备、模型构建、训练策略到模型评估与改进等方面)，也介绍了大模型的伦理内容(安全、隐私、环境和法律道德等方面)。

项目规划

我们的项目正处于积极开发的阶段。在接下来的三到四个月内，我们的团队将全力以赴，为收录的每一篇文章撰写解读笔记。

• 内容规划:

  我们的项目旨在创建一个系统全面的LLM基础论文解读笔记仓库，以支持对大型语言模型（LLM）领域的学术前沿感兴趣的研究人员。为了实现这一目标，我们已经组建了一个由5名成员组成的小组，专注于整理、深入解析和精读LLM领域的经典论文。每一篇精读笔记都将涵盖论文的核心思想、方法和关键贡献，旨在为研究人员提供深刻的理解。每篇笔记将分两个章节，第一个章节是TLDR版，其中将阐述文章的motivation、innovation、insight等核心思想以及核心代码，第二个章节则是全文精读版，这章节的行文逻辑按照原文的行文逻辑来，相当于对每段文章做一个summary，重点要放在methods和discussion，为读者提供一些深度解读。 本仓库的预览版本: LLM-Research 目前的论文列表章节分为:

  • Ch1. Parameter-Efficient Fine-Tuning
  • Low Rank Decomposition Metheds
  • Continuous-Prompt Learning Methods
  • Adapter Methods
  • Mixed Methods
  • Ch2. Full Parameter Fine-Tuning
  • Ch3. In-Context-Learning
  • Ch4. Prompt Engineering
  • Ch5. LLM-based Agent
  • Ch6. LLM for Other Tasks
  • Relation Extraction
  • Graph Learning
  • Knowledge Graph Reasoning

• 时间规划:

我们的项目将在接下来的三到四个月内进行。在这个时间框架内，我们小组将致力于每周产出5-7篇高质量的论文笔记。这个周产出计划的目的是确保我们能够迅速而系统地覆盖LLM领域的广泛话题，并为研究人员提供及时的资源。同时，这也有助于确保我们的笔记在质量上经过仔细审查和审核。

• 人员规划:

我们的小组成员都具备深度学习和自然语言处理领域的专业知识，确保我们能够以高标准撰写精读笔记。 为了进一步确保笔记的质量，我们邀请了几位资深老师担任内容审核的角色。这些老师将负责审查、提供反馈，并确保每篇笔记符合标准。通过这一团队构成，我们有信心在规定时间内产出水平过关的经典论文笔记，为研究人员提供有价值的学术资源。

项目负责人

负责人:

• 林景豪，微信: QiangZheZ_XinForever
• 王淏，微信: Wandering_42

备注：发起立项申请后DOPMC成员将会在7天内给出审核意见，若7天内无反对意见则默认立项通过~

• [X] 我已知悉上述备注

[andongBlue]

具体的展示形式是什么呢？

[linjh1118]

具体的展示形式是什么呢？

我们希望最终形成gitbook的形式，直接供大家在线阅读

[ZhikangNiu]

总感觉和现有的重合有点多（可以考虑能否成为一些项目的contributor，如果不行的话也支持立项

[linjh1118]

总感觉和现有的重合有点多（可以考虑能否成为一些项目的contributor，如果不行的话也支持立项

谢谢 其实最初考虑过contribute到现有的一些项目，但是感觉我们想创的项目侧重点和已有的项目侧重点也不太一样。 所以还是想走单独立项的形式

[KMnO4-zx]

您好，在预览仓库关于lora部分的核心代码那里，使用了chat-嬛嬛的数据集示例，以及self-llm的一些代码示例：https://github.com/linjh1118/LLM-Research/blob/main/Lora/Lora_series.md 为什么没有在相关LLM仓库加上self-llm的仓库呐？

[linjh1118]

您好，在预览仓库关于lora部分的核心代码那里，使用了chat-嬛嬛的数据集示例，以及self-llm的一些代码示例：https://github.com/linjh1118/LLM-Research/blob/main/Lora/Lora_series.md 为什么没有在相关LLM仓库加上self-llm的仓库呐？

抱歉抱歉，真的非常抱歉，备注引用self-llm的最新版本没有push上去，带来了误会，抱歉~ 感谢您精彩的self-llm项目，我们从中学习到了不少有趣的案例~

[Sm1les]

7天内无反对意见则默认立项通过