search

median-research-group / LibMTL

A PyTorch Library for Multi-Task Learning
MIT License
1.98k stars 185 forks source link

GradNorm求梯度 #64

Closed jifu23 closed 10 months ago

jifu23 commented 10 months ago

您好，请问GradNorm求梯度时候是对所有共享参数还是像原文中说的对共享参数最后一层求呢？

Baijiong-Lin commented 10 months ago

所有共享参数或者共享的特征求梯度

jifu23 commented 10 months ago

Wow，秒回，谢谢您，感谢您杰出的工作

jifu23 commented 10 months ago

您好，请问GradNorm中，损失函数权重是与模型的其他可学习参数一起使用同一个优化器更新吗？

Baijiong-Lin commented 10 months ago

是的

jifu23 commented 10 months ago

是的

好的，非常感谢！