COMA和Qplex的一些问题

[Zzhixihuanyu]

首先非常感谢作者的代码分享。 第一点：COMA算法在运行8m_vs_9m时也遇到了NAN的问题，如下： ValueError: Expected parameter probs (Tensor of shape (107520, 15)) of distribution Categorical(probs: torch.Size([107520, 15])) to satisfy the constraint Simplex(), but found invalid values: tensor([[0.0000, 0.2148, 0.2207, ..., 0.0000, 0.0000, 0.0000], [0.0000, 0.2108, 0.2247, ..., 0.0000, 0.0000, 0.0000], [0.0000, 0.2141, 0.2229, ..., 0.0000, 0.0000, 0.0000], ..., [ nan, nan, nan, ..., nan, nan, nan], [ nan, nan, nan, ..., nan, nan, nan], [ nan, nan, nan, ..., nan, nan, nan]], device='cuda:0', grad_fn=) 第二点： Qplex在8m_vs_9m任务中，训练后期出现效果下坠的现象，请问是算法本身的问题，还是超参数没有调整后呢？

[hijkzzz]

NAN的问题一般加大 entropy loss 就可以了 Qplex 算法本身问题就很大，这个算法在他论文中的 matrix game 都不能复现（随便改改数字就不行了）。 这个lib里面qplex和qmix vdn wqmix等算法的超参数都是类似的，只有他这个算法会坍塌。

[zchzch0320]

NAN的问题一般加大 entropy loss 就可以了 Qplex 算法本身问题就很大，这个算法在他论文中的 matrix game 都不能复现（随便改改数字就不行了）。 这个lib里面qplex和qmix vdn wqmix等算法的超参数都是类似的，只有他这个算法会坍塌。

您好，关于nan的问题能否详细解答一下？我在Categorical(pi)这一步也遇到了同样的问题，请问加大entropy loss是具体怎么操作？感谢！