search

datawhalechina / DOPMC

Datawhale 开源项目管理委员会（Datawhale Open-source Project Management Committee，简称DOPMC）
202 stars 21 forks source link

hand-bert #292

Open Day333 opened 2 days ago

Day333 commented 2 days ago

你是否已经阅读并同意《Datawhale开源项目指南》？

你是否已经阅读并同意《Datawhale开源项目行为准则》？

项目简介

或许你早就多次听说过BERT的鼎鼎大名，但你真的了解BERT吗，不如借这个机会，我们一起来看看BERT到底是如何实现的。 1、从零开始：我们将从基础的概念出发，逐步深入到BERT的每一个细节，确保你能够理解并实现BERT的每一个组件。 2、理论与实践并重：通过理论讲解和实际编码实践，你将学习如何从头开始构建BERT模型，以及如何将其应用到实际的NLP任务中。 3、深度理解Transformer：BERT的核心是Transformer架构，你将深入学习这一革命性的模型，并理解其在BERT中的关键作用。 4、实战项目：通过手写BERT的学习，你将了解到如何将BERT应用于实际任务。

立项理由

鉴于当前大语言模型备受瞩目，然而众多人士对其基础模型尚缺乏深入了解，为此，我们特别推出此门课程，旨在满足大家对于语言模型原理的好奇心，并同步提升个人对大模型的认知水平。

项目受众

主要面向于对大语言模型感兴趣的初学者，以及想要更深刻了解BERT实现方法的资深学者。

项目亮点

本项目的亮点在于从零开始实现一个BERT模型，并实现BERT模型的两个任务。

项目规划

一、目录

  1. 引言 ○ BERT简介与课程目的
  2. 基础概念回顾
  3. Transformer架构详解 ○ Transformer模型起源与发展 ○ 自注意力机制与多头注意力 ○ 位置编码与层归一化 ○ Transformer编码器与解码器
  4. BERT模型解析 ○ BERT模型架构与预训练任务 ○ 输入表示与数据预处理 ○ 双向编码器的优势
  5. BERT实现步骤 ○ 环境搭建与依赖安装 ○ 数据集准备与预处理 ○ Transformer层实现 ○ BERT模型构建与训练
  6. BERT应用实践 二、各章节负责人
  7. 引言 - [丁奎业]
  8. 基础概念回顾 - [丁奎业]
  9. Transformer架构详解 - [丁奎业]
  10. BERT模型解析 - [丁奎业]
  11. BERT实现步骤 - [丁奎业]
  12. BERT应用实践 - [丁奎业] 三、各章节预估完成日期
  13. 引言 - 2024年11月14日
  14. 基础概念回顾 - 2024年11月16日
  15. Transformer架构详解 - 2024年11月18日
  16. BERT模型解析 - 2024年11月20日
  17. BERT实现步骤 - 2024年11月22日
  18. BERT应用实践 - 2024年11月24日 四、可预见的困难 可预见的困难主要集中于技术实现的复杂性、资源需求的高昂、数据处理的繁琐、课程内容的时效性。

已完成内容

No response

项目负责人GitHub主页链接

https://github.com/Day333/

项目负责人联系方式

dy_leaf

备注：发起立项申请后DOPMC成员将会在7天内给出审核意见并评论在该Issue，若7天内无反对意见则默认立项通过，如有疑问或者需要帮助请联系微信：at-Sm1les

andongBlue commented 2 days ago

这种项目目前挺多的，就不用新开吧。可以在咱们的其他开源项目进行更新和优化。

hu-minghao commented 2 days ago

立项好像是需要项目有一定章节内容后才可以，期待补充更多内容