PaddlePaddle / Paddle

PArallel Distributed Deep LEarning: Machine Learning Framework from Industrial Practice (『飞桨』核心框架,深度学习&机器学习高性能单机、分布式训练和跨平台部署)
http://www.paddlepaddle.org/
Apache License 2.0
22.23k stars 5.58k forks source link

【Hackathon 7th】开源贡献个人挑战赛(偷跑版) #67603

Open sunzhongkai588 opened 2 months ago

sunzhongkai588 commented 2 months ago

大家好!很高兴向大家宣布,第七期 PaddlePaddle Hackathon 正在紧锣密鼓地筹备中,活动预计将在 9 月 10 日 正式上线🔥。为了让迫不及待的开发者们提前体验本次黑客松的精彩内容,我们计划“偷跑”部分赛题。此次提前发布的赛题主要围绕 “科学计算模型复现” 方向展开,欢迎大家提前报名认领并参与开发!

此 issue 发布 开源贡献个人挑战赛(偷跑版) 的任务,以开源贡献为核心,开发者使用 GitHub ID 报名,独立完成具有明确验收目标的贡献任务,获得对应的任务奖励,奖金 1-4 🌟。 详细信息参考往期的第六期黑客松开源贡献个人挑战赛活动说明

报名格式参考:【报名】:2、3,多个任务之间需要使用中文顿号分隔,报名多个连续任务可用横线表示,如 2-5

RFC&PR 提交格式:在 PR 的标题中以 【Hackathon 7th PPSCI No.xxx】 开头,注明任务编号

[!IMPORTANT]

⚠️ 部分任务无需提交 RFC 即可直接进行开发,请查询 RFC 需求列表 确认具体要求。

科学计算模型复现任务

科学计算方向的论文复现,需要严格参考 https://paddlescience-docs.readthedocs.io/zh-cn/latest/zh/reproduction/ ,并合入PaddleScience

序号 难度 任务标题 队伍名称/状态/PR 完成队伍
1 ⭐️ 为开源符号回归库进行paddle适配 @AndPuQing https://github.com/MilesCranmer/PySR/pull/704
2 ⭐️⭐️ Transolver 论文复现 @xusuyong
@LilaKen
@lijiawei20161002
3 ⭐️⭐️ DrivAerNet ++ 论文复现 @LilaKen
4 ⭐️⭐️ DrivAerNet 论文复现 @NKNaN
@LilaKen
5 ⭐️⭐️ Hidden fluid mechanics: Learning velocity and pressure fields from flow visualizations 论文复现 @lijiawei20161002
6 ⭐️⭐️ Synthetic Lagrangian turbulence by generative diffusion models 论文复现
7 ⭐️⭐️ AI-aided geometric design of anti-infection catheters 论文复现 @ADream-ki #986 #943
@lijiawei20161002
8 ⭐️⭐️ A physics-informed diffusion model for high-fidelity flow field reconstruction 论文复现 @ADream-ki
@AI1LJW #955
9 ⭐️ DiffCast: A Unified Framework via Residual Diffusion for Precipitation Nowcasting 论文复现 @lijiawei20161002
@a162837
10 ⭐️⭐️ Neural General Circulation Models for Weather and Climate 论文复现
11 ⭐️ FuXi: A cascade machine learning forecasting system for 15-day global weather forecast 论文复现 @haoyu2022
12 ⭐️⭐️ Adam、AdamW优化器支持amsgrad @idontkonwher
@megemini #949 #68079 #990
13 ⭐️⭐️ put_along_axis反向算子实现静态图一阶拆解 @zeroRains #67891
@zeroRains
14 ⭐️⭐️ Crystal Diffusion Variational AutoEncoder论文复现
15 ⭐️⭐️ SchNet论文复现
16 ⭐️⭐️⭐️ MACE论文复现 @LilaKen
17 ⭐️⭐️ PIKAN论文复现

看板信息

任务方向 任务数量 提交作品 / 任务认领 提交率 完成 完成率
【个人挑战赛】科学计算 17 4 / 12 23.53% 1 5.88%

统计信息

排名不分先后 @zeroRains (1)

wangguan1995 commented 2 months ago

科学计算方向的论文复现,需要严格参考 https://paddlescience-docs.readthedocs.io/zh-cn/latest/zh/reproduction/ ,并合入PaddleScience

xusuyong commented 2 months ago

【报名】:2

ADream-ki commented 2 months ago

【报名】:7

zeroRains commented 2 months ago

【报名】:13

AndPuQing commented 2 months ago

【报名】:1

LilaKen commented 2 months ago

【报名】:2

lijiawei20161002 commented 2 months ago

【报名】:2、5、7、9

ADream-ki commented 2 months ago

【报名】:8

idontkonwher commented 2 months ago

【报名】:12

megemini commented 2 months ago

【报名】:12

NKNaN commented 2 months ago

【报名】:4

AI1LJW commented 1 month ago

【报名】:8

LilaKen commented 1 month ago

【报名】:3、4

haoyu2022 commented 1 month ago

【报名】:11

LilaKen commented 1 week ago

【报名】:16

a162837 commented 1 week ago

【报名】:9

LilaKen commented 5 days ago

请问复现指标有些指标相对误差满足10%的要求,有些不满足10%的要求时如何判定?公式是(复现指标-源论文指标)/源论文指标<10%,感觉这样的判断方式有缺陷,假设复现指标是0.8,源论文指标是0.75,那么相对误差则是0.06;假设复现指标是0.15,源论文指标是0.10,那么相对误差则是0.5>10%,该公式使用的是相对误差,但在某些情况下,绝对误差可能更有意义。例如,当源论文指标非常接近零时,即使是微小的绝对误差也会导致相对误差非常大。一点建议。

HydrogenSulfate commented 5 days ago

请问复现指标有些指标相对误差满足10%的要求,有些不满足10%的要求时如何判定?公式是(复现指标-源论文指标)/源论文指标<10%,感觉这样的判断方式有缺陷,假设复现指标是0.8,源论文指标是0.75,那么相对误差则是0.06;假设复现指标是0.15,源论文指标是0.10,那么相对误差则是0.5>10%,该公式使用的是相对误差,但在某些情况下,绝对误差可能更有意义。例如,当源论文指标非常接近零时,即使是微小的绝对误差也会导致相对误差非常大。一点建议。

是的,我们会根据实际题目和选手提供的精度具体数值进行判断,可以在在回复中提供一下具体的精度信息吗?

LilaKen commented 5 days ago

Model | Shape-Net-Car | | | | 复现指标 volume | surf | Cd | ρd |
Transolver | 0.0221 | 0.0797 | 0.0134 | 0.9902 |
相对误差 | 0.06763 | 0.0698 | 0.301 | -0.003 |

Model | Shape-Net-Car | | | | 源指标
| volume | surf | Cd | ρd |
Transolver | 0.0207 | 0.0745 | 0.0103 | 0.9935 |

非常感谢你的回复,上面仅展示复现的一个数据集结果,其他数据集也是大差不差,如果这个没问题的话其他应该也没问题

另外关于DrivAerNet++的复现,原论文batch_size为32,我这边由于服务器是实验室一起用的,先跑了个batch_size为4的,效果如下 PointNet: Test MSE: 0.000665, Test MAE: 0.021250, Max MAE: 0.048836 复现指标 Test MSE: 0.000149 Test MAE: 0.009600, Max MAE: 0.012450 源论文指标

HydrogenSulfate commented 5 days ago

Model | Shape-Net-Car | | | | 复现指标 volume | surf | Cd | ρd | Transolver | 0.0221 | 0.0797 | 0.0134 | 0.9902 | 相对误差 | 0.06763 | 0.0698 | 0.301 | -0.003 |

Model | Shape-Net-Car | | | | 源指标 | volume | surf | Cd | ρd | Transolver | 0.0207 | 0.0745 | 0.0103 | 0.9935 |

非常感谢你的回复,上面仅展示复现的一个数据集结果,其他数据集也是大差不差,如果这个没问题的话其他应该也没问题

另外关于DrivAerNet++的复现,原论文batch_size为32,我这边由于服务器是实验室一起用的,先跑了个batch_size为4的,效果如下 PointNet: Test MSE: 0.000665, Test MAE: 0.021250, Max MAE: 0.048836 复现指标 Test MSE: 0.000149 Test MAE: 0.009600, Max MAE: 0.012450 源论文指标

  1. 第一个ShapeNetCar看起来没太大问题呢。
  2. 第二个DrivAerNet++看起来精度差别还是比较大的,可以确认下如果模型中没有BN这种带有历史统计的层,可以尝试使用梯度累加(https://paddlescience-docs.readthedocs.io/zh-cn/latest/zh/user_guide/#24)来训练;另外如果手头算力不太够,可以使用AIStudio进行训练,我们可以帮助申请ATStudio32G的资源
LilaKen commented 5 days ago

非常感谢你提供关于”BN这种带有历史统计的层“这一点的知识信息,感谢你提供关于GPU申请的事项,目前我这边算力足够,等其他跑完我就可以跑了。

HydrogenSulfate commented 5 days ago

非常感谢你提供关于”BN这种带有历史统计的层“这一点的知识信息,感谢你提供关于GPU申请的事项,目前我这边算力足够,等其他跑完我就可以跑了。

训练对齐的话尽量保证batchsize相同,否则梯度累加也不能做到与原batch size完全等价

LilaKen commented 5 days ago

你好,想咨询下对于torch_geometric包是否需要转化成paddle版本的,好像paddle没有对标torch_geometric的包,如果是用torch_geometric的话也会用到torch。