【PaddlePaddle Hackathon 3】开发板部署任务合集

Ligoml commented 2 years ago

（此 ISSUE 为 PaddlePaddle Hackathon 第三期活动的任务 ISSUE，更多详见【PaddlePaddle Hackathon 第三期】任务总览）

为AI开发板增加算子支持和功能开发，开发请参考贡献指南，任务列表如下：

No.79：瑞芯微RV1126/1109：为 Paddle-Lite 增加 TIM-VX 算子

技术标签：深度学习框架，TIM-VX
任务难度：基础
详细描述：请开发者基于TIM-VX软件栈补充2-3个算子，需要支持量化。
- 必选：instancenorm、gelu
- 可选（必选1个）：log、swish、gather。
提交流程：请将代码提交至 Paddle-Lite 开源仓库
提交内容：
- 实现代码：Paddle-Lite/lite/backends/nnadapter/nnadapter/src/driver/verisilicon_timvx 以及 Paddle-Lite/lite/kernels/nnadapter/converter/
  - 请注意代码需要正确的量化逻辑
- 添加单测：单测仅实现 fp32 版本即可
  - instancenorm: Paddle-Lite/lite/tests/kernels/instance_norm_compute_test.cc；
  - gelu: Paddle-Lite/lite/tests/kernels/activation_compute_test.cc；
  - 可选算子同理，在Paddle-Lite/lite/tests/kernels/目录下找到对应算子的fp32单测源文件加以修改。
合入标准：完成功能实现、单测、功能测试

No.80：瑞芯微RK3588：通过 Paddle2ONNX 打通 5个 Paddle 模型的部署

技术标签：深度学习，Python
任务难度：基础
详细描述：将指定的5个模型部署到指定的平台上，并出具详细部署指南。
- 必要步骤，奖金根据完成度发放：
  - 完成指定硬件的飞桨模型部署工作，流程包括 a. Paddle模型转ONNX格式； b. ONNX模型通过硬件厂商SDK转换为可在硬件上部署的模型文件； c. Python/C++的硬件部署模型代码（包括数据的前后处理）； d. 跑通模型量化，提供清晰的量化指南文档，以及表格数据记录量化带来的精度损失； e. 非量化/量化下的耗时记录。
  - 其中第a步和第b步需要有明确的文档指引流程，参考RK部署指导文档。
  - 第3步根据目前Repo中model_zoo的模型列表进行部署代码开发，在此基础上完成分割或检测，即达到30%的程度，完成所有三种任务模型的适配，即达到60%的程度，完成量化和耗时测试等记录，即达到100%。
部署平台：RK3588
部署模型：
- 3个OCR模型：ch_PP-OCRv2_det_infer、ch_PP-OCRv2_rec_infer、ch_ppocr_mobile_v2.0_cls_infer；
- 2个seg模型：bisenet、PP_HumanSeg；
- 1个det模型：picodet。
模型下载链接可参考：https://github.com/PaddlePaddle/Paddle2ONNX/tree/model_zoo/model_zoo
提交流程：
- 模型部署相关代码和部署文档相关代码提交到 Paddle2ONNX Repo 的 model_zoo 分支；
- 部署模型分开提交，一个PR不超过2个模型的对齐脚本和文档。
提交内容：
- 部署相关代码；
- 部署文档。
合入标准：
- 模型在硬件平台上部署后的运行截图；
- 部署脚本和部署文档清晰明了，小白用户也可参考文档和脚本进行部署。
参考内容
- RK3588开发文档：https://github.com/rockchip-linux/rknn-toolkit2
- RK部署指南：https://github.com/PaddlePaddle/Paddle2ONNX/tree/model_zoo/hardwares/rk

No.81：芯原NPU：为 Paddle-Lite 增加 TIM-VX 算子

技术标签：深度学习框架，TIM-VX
任务难度：基础
详细描述：请开发者基于TIM-VX软件栈补充3-4个算子，需要支持量化。
- 必选：layernorm、stack、pad2d；
- 可选（必选1个）- pow、sqrt、square。
提交流程：请将代码提交至 Paddle-Lite 开源仓库
提交内容：
- 实现代码：Paddle-Lite/lite/backends/nnadapter/nnadapter/src/driver/verisilicon_timvx 以及 Paddle-Lite/lite/kernels/nnadapter/converter/
  - 请注意代码需要正确的量化逻辑
- 添加单测：单测仅实现 fp32 版本即可
  - layernorm: Paddle-Lite/lite/tests/kernels/layer_norm_compute_test.cc；
  - stack：Paddle-Lite/lite/tests/kernels/stack_compute_test.cc；
  - pad2d：Paddle-Lite/lite/tests/kernels/pad2d_compute_test.cc；
  - pow：Paddle-Lite/lite/tests/kernels/pow_compute_test.cc；
  - sqrt：Paddle-Lite/lite/tests/kernels/activation_compute_test.cc；
  - square：Paddle-Lite/lite/tests/kernels/activation_compute_test.cc。
合入标准：完成功能实现、单测、功能测试

No.82：晶晨 SoC：基于 Paddle-Lite 和 PaddleSlim 实现可视化 demo

技术标签：深度学习框架，量化，OpenCV
任务难度：进阶
详细描述：请使用 PaddleSlim 与 Paddle-Lite 完成 demo 搭建。由于NPU加速依赖全量化模型，该题目的demo实现较为简单，难点在PaddleSlim生成全量化模型的阶段，并且保证全量化模型精度达标。直播课会以 tinypose 为例讲解量化；以人脸检测为例讲解 demo 搭建过程。 demo模型-场景可以是以下之一：
- pp-yoloe：人/车计数（优先）；
- pp-yoloe+bettertracker/deepsort：人/车流量估算；
- yolov5：人/车计数（除非 ppyoloe 没有 ready）；
- seg 模型：PP-HumanSeg-Lite，视频抠图 demo。
请务必注意开发板需使用 linux 系统部署该 demo。
提交流程：请将代码提交至 Paddle-Lite-Demo 开源仓库
提交内容：实现代码 & 全量化模型
- demo代码提交至：Paddle-Lite-Demo/object_detection/ 下新建linux目录文件，且使用基于PaddleSlim产出的NPU全量化模型。
合入标准：完成功能实现

技术要求

熟练掌握 C++；
熟悉 TIM-VX；
了解算子原理。

参考内容

答疑交流

如果在开发中对于上述任务有任何问题，欢迎在本 ISSUE 下留言交流；
对于开发中的共性问题，在活动过程中，会定期组织答疑，请大家关注官网&QQ群的通知，及时参与。

unseenme commented 2 years ago

我对No.82很有兴趣，不过手上没有开发板。请问有没有模拟器或者其他途径，可以验证全量化模型的精度？

Ligoml commented 2 years ago

本周五（7.15）和下周一（7.18）晚上7点会在飞桨 PaddlePaddle 的 B 站和视频号同步直播《飞桨模型在瑞芯微硬件上的部署开发实例》、《飞桨模型在芯原IP&晶晨芯片&Khadas开发板的部署开发介绍》，详细介绍开发板部署任务和如何获取开发板，感兴趣的同学记得锁定直播间哦~