search

PFCCLab / Camp

飞桨护航计划集训营
17 stars 73 forks source link

[WeeklyReports] 2024.07.29~2024.08.11 周报汇总 #332

Open yinfan98 opened 3 months ago

yinfan98 commented 3 months ago

[WeeklyReports] 2024.07.29~2024.08.11 周报汇总

请各位学员在本 issue 下以 comment 的形式填写周报摘要，ddl 本周日晚，格式示例如下：

### 姓名

xxx

### 本周工作

1. xxx
2. xxx

### 下周工作

1. xxx
2. xxx

### 详细周报链接：

- https://github.com/PFCCLab/Camp/pull/xxx

护航计划

项目一：PIR 专项

项目四：组合机制建设

项目五：框架API易用性提升

项目八：PaddleDetection 套件能力建设

项目十：推理Predictor 及 IR Pass建设

项目十一：模型迁移工具建设

开源之夏

项目一：飞桨PaddlePaddle-PIR适配2ONNX推理转换

项目二：飞桨PaddlePaddle-动转静支持子图高阶微分

项目三：飞桨PaddlePaddle-PIR适配VisualDL模型可视化

GLCC

项目一：为Paddle推理新增Pass管理功能

项目二：为开源大语言模型推理增加优化Pass

项目三：飞桨Save/Load体系功能升级适配PIR

项目四：飞桨新一代IR机制完善与功能单测验证

项目五：飞桨稀疏算子API升级适配PIR

项目六：动静统一自动并行支持 MoE 专家并行策略

NKNaN commented 3 months ago

姓名

李睿文

本周工作

  1. 继续进行针对 F.pad 的功能增强
  2. 继续进行针对 paddle.linalg.matrix_rank 的功能增强
  3. 针对 paddle.put_along_axis_ 的功能增强
  4. 全面升级 torch.scatter/torch.scatter_ 的 API 转换规则
  5. 升级 F.kl_div 的 API 转换规则
  6. 针对 paddle.linalg.solve 的功能增强

下周工作

  1. 继续完善 F.pad 和 paddle.linalg.matrix_rank 的修改。
  2. 优化 torch.gather/torch.Tensor.gather 的 API 转换规则；torch.Tensor.scatter_ 增加对 x 的测试。
  3. paddle.linalg.lu bug修复。
  4. paddle.load 功能增强。
  5. paddle.empty 等包含 dtype 参数的 API 功能增强。

详细周报链接：

zeroRains commented 3 months ago

姓名

卢林军

实习项目

组合机制建设和机制推全

本周工作

  1. 前向拆解heaviside op，并支持动态shape
  1. 为matmul_grad op 添加动态shape支持
  1. 为reduce_as_grad 添加动态shape支持
  1. 补充组合机制的设计与实现文档以及入门开发文档

下周工作

  1. 收集待拆解算子并为其支持组合机制

详细周报链接：

aooxin commented 3 months ago

姓名

马奥欣

本周工作

  1. 运行所有模型并记录 log

    • 将 paddle官方模型下载并使用混合精度模式推理得到 log

  2. 对其中的错误进行整理

    • 在对所有模型运行后整理分类出现目前存在的错误。

  3. 阅读其他 pass

    • 阅读其他 pass，研究重构代码的方案。

      下周工作

  4. 针对前面找出的问题逐一进行解决

  5. 完成控制流的适配

详细周报链接：

Xuxuanang commented 3 months ago

姓名

许轩昂

本周工作

  1. 完成第一部分，单测规范化建设，提交了四次PR,已有两次的内容成功合并了主分支
  2. 修改后续反馈的问题以及修改和添加部分Matcher

下周工作

  1. 开发缺失Matcher
  2. 对齐文档

详细周报链接：

https://github.com/PFCCLab/Camp/pull/337

Layssy commented 3 months ago

姓名

李伟

本周工作

paddle架构相关学习

  1. 熟悉了Paddle-Inference-Demo python层面的运用
  2. 学习了 paddle 算子层面的转换

    算子的 Marker 的开发 和单测的实现

  3. 完成Split_with_num 、multiply、 elementwise_max elementwise_min elementwise_pow elementwise_floordiv elementwise_sub elementwise_div elementwise_mod、shape以及greate_equal等算子的 marker 和单测 的开发
  4. 补充现在已有marker的算子的单测

    模型文档整理

  5. 整理了一部分check_infrence.sh中的的模型( Deeplabv3_Plus-R101、 Deeplabv3_Plus-R50、Deeplabv3-R101、Deeplabv3-R50、OCRNet_HRNet-W48、PP-LiteSeg-T、PP-OCRv4_mobile_det、PP-OCRv4_server_det、PP-OCRv4_mobile_rec、PP-OCRv4_server_rec)包含的算子是否具有对应的marker 和converter

下周工作

  1. 继续完成check_infrence.sh 剩余模型中算子的统计
    1. 统计完成之后，补充缺少marker算子的marker以及单测
    2. 学习如何开发算子的converter
  2. 熟悉Paddle-Inference-Demo 的c++端的流程

    详细周报链接：

    https://github.com/PFCCLab/Camp/pull/309

gouzil commented 3 months ago

姓名

gouzil

本周工作

  1. pir.cc 中 GetNameMap 的清理
  2. 在 Python 端添加 assert，确保一个 Value 只有一个 name
  3. 发布两个新任务，[CodeStyle][Ruff] Ruff 新 rule 引入计划（第二期） 和 [Typing][PEP585 Upgrade] PEP 585 标准集合泛型支持升级——Python 3.8 退场前瞻特别任务, 与开发者们进行友好交流，帮助他们理解任务内容。

下周工作

  1. 调研x / n的精度问题, 了解目前的处理方式, 问题 PR #617

详细周报链接：

epiphanyer commented 3 months ago

姓名

曾志鹏

本周工作

对一些动静统一的python api，补全静态图单测的任务 对于仅在动态图下有定义的api，对python API进行了适配升级，并补全了在静态图下的单测

下周工作

1.完成剩余所有Sparse算子Python API适配工作，编写PIR模式下静态图下的单元测试。

详细周报链接：

338

AndPuQing commented 3 months ago

姓名

梁嘉铭

实习项目

PIR 专项

本周工作

本双周工作集中在对于 Py3 流水线修复工作，主要包括：

下周工作

  1. 继续跟进PIR单测修复工作

详细周报链接

fxfxfxfxfxfxfxfx commented 3 months ago

姓名

冯潇

实习项目

动静统一自动并行支持MoE专家并行策略

本周工作

  1. 阅读moe自动并行的源码
  2. 跑通单卡版本的SparseMoEBlock代码，作为测试基准
  3. 将SparseMoEBlock 改成自动并行版本

下周工作

  1. 编写SparseMoEBlock自动并行版本的单元测试，测试动态图下 卡数>专家数 和 卡数<专家数的情况

详细周报链接

https://github.com/PFCCLab/Camp/pull/315

xue-yun-liang commented 3 months ago

姓名

薛云亮

实习项目

为Paddle推理新增Pass管理功能

本周工作

  1. 总结上周的精度diff问题，并产出报告

    https://github.com/PaddlePaddle/Paddle/pull/66878

  2. 支持chatglmv2和chatglmv3在block_attn组网模式下跑通fp16和weight-only int8

    https://github.com/PaddlePaddle/PaddleNLP/pull/8881

下周工作

  1. 解决chatglmv3在block_attn模式下输出不正常的问题
  2. 继续支持chatglmv2和chatglmv3在block_attn组网模式下跑通a8w8

详细周报链接

https://github.com/PFCCLab/Camp/pull/341

MINGtoMING commented 3 months ago

姓名

林镇铭

本周工作

基于rtdetr的开放世界目标检测

下周工作

详细周报链接

https://github.com/PFCCLab/Camp/pull/342

lszxb commented 3 months ago

姓名

刘斯哲

本周工作

  1. 对目前demo中的静态图推理过程进行profile并对后处理阶段GPU占用率低的问题进行优化
  2. 对W4A8KV4系统QServe进行初步的测试
  3. 了解Attention显存管理的相关工作

下周工作

  1. 继续对目前demo中的静态图推理过程进行优化完善
  2. 对QServe系统进行测试和benchmark
  3. 继续了解Attention显存管理的相关工作（PagedAttention, GMLake, vAttention等），以及paddle框架的相关实现

详细周报链接：

CSWYF3634076 commented 3 months ago

姓名

王亚峰

实习项目

动转静支持子图高阶微分

本周工作

  1. 熟悉动转静一阶微分的过程，学习IR中的各种概念

    • 增加动转静一阶微分调用的新链路

  2. 熟悉动转静的过程以及完成部分前反向构建过程

    • 阅读pir.cc#SplitForwardBackward()关于前反向拆分的逻辑
    • 在c++侧执行grad时加入前反向程序构建，前反向拆分

下周工作

  1. 继续完成前反向构建与拆分逻辑

    • c++侧继续完成前反向拆分逻辑
    • 将python侧的部分逻辑下沉到c++中，并梳理完成python侧从grad()到c++侧的链路

详细周报连接

Hanyonggong commented 3 months ago

姓名

韩用功

实习项目

推理Predictor 及 IR Pass建设

本周工作

1、修复上周pr的bug

2、修复Refactor BlockInferencePredictor的bug

3、修复llama3.1在组网结构下bfloat16精度报错问题

详细周报链接

https://github.com/PFCCLab/Camp/pull/346

yinfan98 commented 3 months ago

姓名

尹帆

本周工作

  1. 设计python端pass 的DRR接口
  2. 借鉴torch fx上层改图接口

下周工作

  1. 完善整体设计

详细周报链接：

cse0001 commented 3 months ago

姓名

谢一帆

实习项目

开源之夏 飞桨 PaddlePaddle-PIR 适配 VisualDL 模型可视化

本周工作

  1. 测试目前 Visualdl 对于控制结构可视化的支持能力

  2. 开发 Visualdl 多层 Block 解析功能

  3. 部分完善 visualdl 对控制流算子的可视化

    下周工作

  4. 继续完善 visualdl 对控制流算子的可视化

详细周报链接

Layssy commented 3 months ago

姓名

李伟

实习项目

推理Predictor 及 IR Pass建设

本周工作 paddle架构相关学习

熟悉了Paddle-Inference-Demo python层面的运用

学习了 paddle 算子层面的转换

算子的 Marker 的开发 和单测的实现

完成一系列算子的 marker和单测的开发

Split_with_num

multiply

elementwise_max、 elementwise_min 、elementwise_pow 、elementwise_floordiv 、elementwise_sub 、elementwise_div 、elementwise_mod

shape

greate_equal

补充现在已有marker的算子的单测

模型文档整理

整理了一部分check_infrence.sh中的的模型包含的算子是否具有对应的marker 和converter

Deeplabv3_Plus-R101、 Deeplabv3_Plus-R50、Deeplabv3-R101、Deeplabv3-R50

OCRNet_HRNet-W48

PP-LiteSeg-T

PP-OCRv4_mobile_det、PP-OCRv4_server_det、PP-OCRv4_mobile_rec、PP-OCRv4_server_rec

下周工作

继续完成check_infrence.sh 剩余模型中算子的统计

统计完成之后，补充缺少marker算子的marker以及单测

学习如何开发算子的converter

熟悉Paddle-Inference-Demo 的c++端的流程

详细周报链接

309

在 2024-08-12 19:55:59，"csexyf" @.***> 写道：

姓名

谢一帆

实习项目

开源之夏 飞桨 PaddlePaddle-PIR 适配 VisualDL 模型可视化

本周工作 测试目前 Visualdl 对于控制结构可视化的支持能力 开发 Visualdl 多层 Block 解析功能 部分完善 visualdl 对控制流算子的可视化 下周工作 继续完善 visualdl 对控制流算子的可视化 详细周报链接

349

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: @.***>

Yang-Changhui commented 3 months ago

姓名

Yang-Changhui

本周工作

  1. 完成CoDeformDETRHead和CO_Roihead模块编写
  2. 编写CoATSSHead相关代码

下周工作

  1. 实现以上几部分的组合，实现训练过程

详细周报链接：

eggman-1024 commented 3 months ago

姓名

张瑞涛

实习项目

飞桨Save/Load体系功能升级适配PIR

本周工作

  1. 熟悉PIR体系组件

    • 熟悉PIR体系下Save到本地的计算图json文件构成
    • 查阅Program、IrContext、ModuleOp相关源码

  2. 增加PIR体系下Load代码

    • 在相关源文件中的ProgramDesc、FunctionInfo相关处修改代码以适配PIR体系

下周工作

  1. 继续进行PIR体系下模型反序列化开发

详细周报链接：

qzylalala commented 3 months ago

姓名

秦忠宇

实习项目

飞桨PaddlePaddle-PIR适配2ONNX推理转换

本周工作

  1. 和 mentor商讨后暂定技术路线为 PIR Parser 走单独的逻辑。
  2. 修改 CMakeLists，支持 vscode 能够断点调试 Python & C++ 混合项目的 C++ 部分代码。参见 PR。
  3. 和 mentor 敲定使用 paddle 中的接口进行 PIR Program recovery，避免重复造轮子。

下周工作

  1. 完成 PIR Program 的 recover 代码逻辑。
  2. 对照学习 PaddleParser 实现的功能模块，新建 PirPaddleParser 实现对应的功能。

详细周报链接

zrr1999 commented 3 months ago

姓名

詹荣瑞

实习项目

PIR 专项

本周工作

  1. 推进 SOT 动态 shape
    • PaddlePaddle/Paddle#66346

下周工作

  1. 继续推进 SOT 动态 shape

详细周报链接