Closed wangning7149 closed 2 years ago
作者,您好!请问论文中公式5中: 原公式是经过softmax生成一个[N,2]的tensor, 请问可不可以用sigmoid生成一个[N,1]的tensor呢?
你好,应该是可以的,但是需要调整对应的gumbel softmax的实现。因为生成[N,2]的tensor能直接使用F.gumbel_softmax,并且多出来的计算量几乎忽略不计,所以我在代码中选择了这个更简洁的实现。
F.gumbel_softmax
作者,您好!请问论文中公式5中: 原公式是经过softmax生成一个[N,2]的tensor, 请问可不可以用sigmoid生成一个[N,1]的tensor呢?