search

median-research-group / LibMTL

A PyTorch Library for Multi-Task Learning
MIT License
1.95k stars 182 forks source link

DDP mode and amp #13

Closed apxlwl closed 2 years ago

apxlwl commented 2 years ago

你好，非常感谢您的工作，但在多卡使用时出现了如下问题想请教： https://github.com/median-research-group/LibMTL/blob/main/LibMTL/weighting/abstract_weighting.py#L43 image

配置：MGDA+hardParam

另外还有个问题想请教一下：

  1. 项目中的weighter类型有哪些和半精度amp训练兼容？ 兼容的话应该在scale之前进行weighting还是scale之后weighting？
Baijiong-Lin commented 2 years ago

你好, 目前LibMTL暂不支持多卡DDP以及混合精度AMP. 这些功能仍在开发测试中, 我们会在后续版本中推出这些功能, 请持续关注.

pierrelzw commented 2 years ago

DDP的支持在开发中了么？预计什么时候会有呢？

你好, 目前LibMTL暂不支持多卡DDP以及混合精度AMP. 这些功能仍在开发测试中, 我们会在后续版本中推出这些功能, 请持续关注.

Baijiong-Lin commented 2 years ago

你好，我们目前仍在推进v1.1.6的版本，DDP和AMP的支持预计会在v1.1.7的版本上线，请持续关注。

ailias commented 1 year ago

DDP版本有了吗？提供一个demo也行。感谢