Closed AndSonder closed 6 months ago
DUCH714
李帅
Github ID: lishuai-97
杨昌辉
卢畅
静态图半自动并行训练性能优化
本周的主要工作是设计 Zero Bubble 的实现方案,以及与导师讨论并完善方案。还完成了几个 Zero Bubble 并行调度的前置任务,以及对 Zero Bubble 的实现方案进行了初步的实现。
相关 PR:
相关 PR:
详见Tracking Issue:
相关 PR:
田川
卢林军
组合机制算子专项和机制建设
本周主要工作是支持部分组合算子对动态shape的支持,以及对之前pr的一些完善。
跑blip2模型,统计模型涉及到的算子
尝试让dropout
算子的前向拆解计算支持动态shape
相关 PR:
flatten
算子的前向拆解计算支持动态shape相关 PR:
group_norm
算子的前向计算支持动态shape相关 PR:
binary_cross_entropy_with_logits
算子前向拆解计算的单测编写相关 PR:
YibinLiu666
高阶微分的性能分析和优化
高阶微分大算子性能优化
高阶微分算子组合单测添加
问题疑惑与解答 无
李睿文
paddle.nanmedian
的功能增强
paddle.nn.TransformerEncoderLayer
的功能增强
paddle.nn.functional.group_norm
API
paddle.linalg.svd_lowrank
API
凌少鹏
马欣楷
蔡越
周波涛
算子支持复数计算专项
相关pr:
https://github.com/PaddlePaddle/Paddle/pull/62764
https://github.com/PaddlePaddle/Paddle/pull/62959
黄济懿
本周请假
下周请假
Github ID: unseenme
徐苏勇
朱新明
paddle.mode
和paddle.bincount
API新旧IR下精度问题杨新宇
完成多个算子的符号推导
在前两周熟悉了如何进行算子的符号推导后,本周支持了logsumexp、logcumsumexp、linspace、logspace、min、poisson、repeat_interleave、topk等算子的符号推导。
review代码
review了导师张博的PR: https://github.com/PaddlePaddle/Paddle/pull/62955
何咏哲
张玉涛
本周请假
下周请假
叶柯
PaddleMIX 套件能力建设(图文方向)
本周主要工作如下(这周毕设开题,花了些时间水各种材料文本ppt;新换了某遥遥领先服务商的机器,但是官方提供的容器镜像中nvidia驱动太老,而且不给驱动更新的权限,所以自己花了挺多时间build from source在配各种依赖,解决torch那边的问题):
完成CogVLM前向推理对齐以及单测添加,增强CogVLM与CogAgent的组网复用:
详细周报:
尹帆
马贺达
Github ID: yulangz
CINN子图鲁棒性和性能优化
大模型子图导出
RedContritio
api_aliases
的处理;Github ID: fty1777
实现一系列算子的符号推导
Github ID: zrr1999
PIR Python API 升级及机制建设
在用户层面统一 VarType 和 DataType 的使用。
相关 PR:
修复开启 FLAGS_enable_pir_api=True
单测 test_var_base.py
存在的问题。
相关 PR:
推进 PIR test_errors 相关单测适配
相关 ISSUE:
相关 ISSUE:
梁书豪
lang::Compute
和LowerToAstVec
的逻辑reduce
类算子,解决其在将多维归约为0D时的错误
[WeeklyReports] 2024.03.09~2024.03.22 周报汇总
请各位学员在本 issue 下以 comment 的形式填写周报摘要,ddl 本周五晚,格式示例如下:
项目一:PIR 算子补全与兼容机制建设
项目二:PIR 控制流专项
项目三:PIR Python API 升级及机制建设
项目四:动转静 SOT 模块 Python 3.12 支持
项目五:算子支持复数计算专项
项目六:模型迁移工具建设
项目七:框架 API 易用性提升
项目八:组合机制算子专项和机制建设
项目九:高阶微分的性能分析和优化
项目十:静态图半自动并行训练性能优化
项目十一:全自动并行架构升级
项目十二:科学计算领域拓展专项(DeePMD-kit、光学案例)
项目十三:科学计算领域拓展专项(超分重构方向)
项目十四:科学计算领域拓展专项(领域流体方向)
项目十五:科学计算领域拓展专项(领域气象方向)
项目十六:CINN 支持动态 Shape 专项(前端方向)
项目十七:CINN 支持动态 Shape 专项(PIR 部分)
项目十八:CINN 静态 shape 下鲁棒性和性能优化
项目二十:CINN 支持动态 Shape 专项 (后端模型扩量)
项目二十一:Paddle CMake 治理和编译优化
项目二十二:PaddleMIX 套件能力建设(文图方向)
项目二十三:PaddleMIX 套件能力建设(图文方向)
项目二十四:大模型训练稳定性和高效低价小模型快速收敛
项目二十六:推理 Pass & 融合算子优化