魔术师+Paddle分布式训练文档体验评估

[whisky-12]

任务类型

单机多卡

项目环境

AI Studio

认领任务

【NLP】用N-Gram模型在莎士比亚文集中训练word embedding ：https://www.paddlepaddle.org.cn/documentation/docs/zh/practices/nlp/n_gram_model.html

1.导入分布式训练需要的依赖包

• 完成情况（成功/不成功) ： 成功
• 遇到问题： 导入依赖包过程无问题 但在aistudio 中 使用高级GPU V100 16GB ： 执行 paddle.set_device('gpu') 会 报 ValueError: The device should not be 'gpu', since PaddlePaddle is not compiled with CUDA 我觉得根据警告信息时底层，硬件驱动对应的问题。还请review再现确认下。
• 解决方法（无法解决需注明)： 切换更高配置的GPU环境解决
• 对应文档是否描述清晰（如不清晰，需注明问题并提供文档链接）： 文档描述清楚 结构清晰易读

2.初始化分布式训练环境

• 完成情况（成功/不成功) ： 成功
• 遇到问题： 此部分我无其他问题
• 解决方法（无法解决需注明)： 无
• 对应文档是否描述清晰（如不清晰，需注明问题并提供文档链接） 文档描述清晰

3.设置分布式训练需要的优化器

• 完成情况（成功/不成功) ： 成功
• 遇到问题： 此步骤无遇到不能解决的问题
• 解决方法（无法解决需注明)： 无
• 对应文档是否描述清晰（如不清晰，需注明问题并提供文档链接）： 文档描述清晰 结构简单易懂

4.数据集拆分

• 完成情况（成功/不成功) ： 成功
• 遇到问题：

1.在paddle官网提供的 用N-Gram模型在莎士比亚文集中训练word embedding文档（https://www.paddlepaddle.org.cn/documentation/docs/zh/practices/nlp/n_gram_model.html）中 2.1 数据集下载部分 ， 文章中提供数据集下载的超链接所下载的数据集 与 文章实际训练所提供的模板数据集不一致， 超链接 为英文版的数据集 ，而文档中则是中文版（可以aistudio公开数据集中搜索到） 文档超链接提供 ： 文档实际使用： 2.下图中标注部分 ，文档中是否为描述位置不同，描述在代码中没具体表现，是否需要review者再次确认下？

• 解决方法（无法解决需注明)： 两种数据集都可以训练 ，若使用中文数据集需在公开数据集中搜索导入即可
• 对应文档是否描述清晰（如不清晰，需注明问题并提供文档链接）： 文档整体逻辑描述清晰

5.构建训练代码

• 完成情况（成功/不成功) ： 成功

• 遇到问题： 这部分没有遇到不能解决的问题，总结来说的话 并行流程文档和莎士比亚项目的文档的描述流程都是比较详细的 不过 整合测试的感觉可以对新手不太友好

  1. 首先我是先对两篇文章做了仔细的阅读，然后每一部分的代码都有了详细的了解后，才开始对代码进行整合，对于不能类型的数据结构和数据类型需要根据情况修改，虽然两篇文档都描述的比较完整但对于新人小白或者初学者来说，还是不能直接按照流程非常顺利的进行整合

• 解决方法（无法解决需注明)： 需要对项目代码和分布式流程要有详细的认识准备。

• 对应文档是否描述清晰（如不清晰，需注明问题并提供文档链接）： 分布式文档结构清晰，内容完善，但觉得如果可以对代码进行详细的注释，以及对不同定义的变量函数，参数，以及模型的类型 ，函数的作用，有个注释就更好了

6.单机多卡分布式训练

• 完成情况（成功/不成功) ： 成功
• 遇到问题： 在但在aistudio 中 使用高级GPU V100 16GB ： 执行 paddle.set_device('gpu') 会 报错，理论上这个环境时有GPU的？
• 解决方法（无法解决需注明)： 换其他环境
• 对应文档是否描述清晰（如不清晰，需注明问题并提供文档链接）： 文档描述清晰，可以正常执行

7.多机多卡分布式训练

• 完成情况（成功/不成功) ： 无多机环境 未进行多机测试
• 遇到问题：
• 解决方法（无法解决需注明)：
• 对应文档是否描述清晰（如不清晰，需注明问题并提供文档链接）：

其他问题或建议

No response

相关代码

分布式--用N-Gram模型在莎士比亚文集中训练word embedding https://aistudio.baidu.com/aistudio/projectdetail/4084174 （请fork最新版本）

认领任务名称

分布式-中文语义匹配 ERNIE 3.0

https://aistudio.baidu.com/aistudio/projectdetail/4100586 （请fork最新版）

1.导入分布式训练需要的依赖包

• 完成情况（成功/不成功) ： 成功
• 遇到问题：
• 解决方法（无法解决需注明)：
• 对应文档是否描述清晰（如不清晰，需注明问题并提供文档链接）： 文档清晰，关于数据并行文档无其他问题，详细见上个项目对数据并行文档描述

2.初始化分布式训练环境

• 完成情况（成功/不成功) ： 成功

• 遇到问题： 导入这两个包的时候在老版本的BML中总是失败，更新了库，但新版本BML的执行代码一样，就正常 from paddlenlp.datasets import load_dataset from paddlenlp.transformers import AutoModelForSequenceClassification, AutoTokenizer from eval import evaluate

• 解决方法（无法解决需注明)： 用新版本的BML就

• 对应文档是否描述清晰（如不清晰，需注明问题并提供文档链接）： 文档清晰，关于数据并行文档无其他问题，详细见上个项目对数据并行文档描述

3.设置分布式训练需要的优化器

• 完成情况（成功/不成功) ： 成功
• 遇到问题： fleet.distributed_optimizer（opt）中opt参数的介绍还有其他的嘛 以及优化器的设置参数
• 解决方法（无法解决需注明)： 查看API调查
• 对应文档是否描述清晰（如不清晰，需注明问题并提供文档链接）： 文档清晰，关于数据并行文档无其他问题，详细见上个项目对数据并行文档描述

4.数据集拆分

• 完成情况（成功/不成功) ： 成功
• 遇到问题： 这项目个数据的整理比较困难，但对分布式数据集的转换中的参数有哪些设置
• 解决方法（无法解决需注明)： 查看API待调查
• 对应文档是否描述清晰（如不清晰，需注明问题并提供文档链接）： 文档清晰，关于数据并行文档无其他问题，详细见上个项目对数据并行文档描述

5.构建训练代码

• 完成情况（成功/不成功) ： 成功

• 遇到问题： 无遇到太难的问题，不过整体感觉还是遇到很多语法和整合调用函数之前问题， 参数不匹配等

• 解决方法（无法解决需注明)： 都可以看报错

• 对应文档是否描述清晰（如不清晰，需注明问题并提供文档链接）： 文档清晰，关于数据并行文档无其他问题，详细见上个项目对数据并行文档描述

6.单机多卡分布式训练

• 完成情况（成功/不成功) ： 成功
• 遇到问题： 无
• 解决方法（无法解决需注明)： 无
• 对应文档是否描述清晰（如不清晰，需注明问题并提供文档链接）： 文档清晰，关于数据并行文档无其他问题，详细见上个项目对数据并行文档描述

7.多机多卡分布式训练

• 完成情况（成功/不成功) ： 成功
• 遇到问题： 同上
• 解决方法（无法解决需注明)： 文档清晰，无问题
• 对应文档是否描述清晰（如不清晰，需注明问题并提供文档链接）： 文档清晰，关于数据并行文档无其他问题，详细见上个项目对数据并行文档描述

其他问题或建议

No response

相关代码

分布式-中文语义匹配 ERNIE 3.0 https://aistudio.baidu.com/aistudio/projectdetail/4100586

[whisky-12]

关于之前提交issues中对分布式文档有关函数以及接口参数所涉及部分如下，鉴于对新入手本项目的整体体验感受来说 以下部分 关于model的类型，函数所支持的网络结构有哪些，单向？ 对于新手来说如何去判断自己的model能否代入使用 以及opt 数据集 部分 接口所提供的参数都有哪些，因为从其他项目中的相关函数中，会发现更多其他的参数，在这里是否支持这些参数呢？ 我觉得如果再回头复制代码在官网搜索，是否有些繁琐，如果这里把这些接口代码中直接黏贴一个超链接，就类似于vscode那种，只需要点击类似与下图 ---->fleet.distributed_model<------ 就可以直接跳转至对应API文档 ，是否就更加方便快捷呢，嗯以上只代表个人体验观点，如有纰漏还望各位review