fun-transformer

[Spr1ng7]

你是否已经阅读并同意《Datawhale开源项目指南》？

• [X] 我已阅读并同意《Datawhale开源项目指南》

你是否已经阅读并同意《Datawhale开源项目行为准则》？

• [X] 我已阅读并同意《Datawhale开源项目行为准则》

项目简介

1. 使用基础的Numpy等科学计算库实现简单的Transformer
2. 完成完整的Transformer编码器和解码器
3. 使用Transformer模型实现在NLP任务中的应用

立项理由

Transformer模型作为近年来最具影响力的神经网络结构，已经在诸多NLP任务中展现出优异的性能。本项目旨在从零开始手撕Transformer，深入剖析其原理，为深度学习领域的研究者和工程师提供一套完整的Transformer实现方案。

项目受众

1. 深度学习研究者：本项目适合对Transformer模型感兴趣的研究者，通过项目实践，加深对Transformer原理的理解。
2. NLP工程师：项目成果包含解读代码和Q&A问答，可为工程师在实际工作中或者求职过程中，对应用Transformer模型提供参考和借鉴。
3. 计算机相关专业学生：本项目有助于学生掌握注意力机制，通过解读示意图、文字和公式推导，加深理论理解，为未来职业发展奠定基础。

项目亮点

1.完全从零开始：本项目使用基础的Numpy等科学计算库实现Transformer，无需依赖任何深度学习框架，有助于深入理解模型原理。

2. 完整性：项目包含Transformer编码器和解码器的实现，涵盖了Transformer的核心组成部分。
3. 实用性：项目将Transformer模型应用于NLP任务，验证了模型在实际场景中的有效性。

项目规划

第一章 Transformer模型背景

• 序列到序列模型的发展
• RNN与LSTM的局限性
• Transformer的提出与影响

第二章 Transformer模型架构详解

• 编码器（Encoder）结构
  • 自注意力机制（Self-Attention）
  • 多头注意力（Multi-Head Attention）
  • 位置编码（Positional Encoding）
  • 前馈神经网络（Feed-Forward Neural Network）
  • 层归一化（Layer Normalization）
• 解码器（Decoder）结构
  • 编码器-解码器注意力（Encoder-Decoder Attention）
  • 解码器自注意力（Decoder Self-Attention）
  • 解码器输出层

第三章 位置编码与注意力机制

• 位置编码的作用与实现
• 注意力机制的工作原理
• 不同类型的注意力机制

第四章 Transformer的训练过程

• 损失函数
• 优化算法
• 训练技巧与挑战

第五章 使用Numpy实现Transformer

第六章 Transformer模型在NLP中的应用

• 实践项目：构建一个简单的机器翻译系统
  • Transformer在机器翻译中的应用
  • 案例分析与实验结果

预计完成时间：2024年11月23日

已完成内容

No response

项目负责人GitHub主页链接

负责人: 罗清泉 Github: https://github.com/Spr1ng7 联系方式:VX-wxid_8q5hui72e0f022

❗❗❗注意事项❗❗❗：为了便于我们跟你取得联系，请加务必加我们的微信：at-Sm1les（备注你来自于项目立项即可），发起立项申请后DOPMC成员将会在7天内给出审核意见并评论在该Issue，若7天内无反对意见则默认立项通过，如有任何疑问或者需要帮助均可随时联系微信：at-Sm1les

• [X] 我已知悉上述注意事项并添加了微信：at-Sm1les

[Sm1les]

12月份必开组队学习课程，免审核