problem : MoE에서 sparsely gated(=top k)하는 부분이 미분가능하지 않음.
solution :result : 그냥 top-k 하는 것보다 성능을 22% 올림
sparse gate는 n개의 expert에서 k개를 뽑기 때문에 cardinality-constrained optimization인데 binary encoding scheme로 완화하는 방법을 제안한다. top-k는 expert 수의 linear하게 계산이 드는데 우리의 DSelect-k는 log linear 관계에 있다.
paper, code
problem : MoE에서 sparsely gated(=top k)하는 부분이 미분가능하지 않음. solution : result : 그냥 top-k 하는 것보다 성능을 22% 올림
sparse gate는 n개의 expert에서 k개를 뽑기 때문에 cardinality-constrained optimization인데 binary encoding scheme로 완화하는 방법을 제안한다. top-k는 expert 수의 linear하게 계산이 드는데 우리의 DSelect-k는 log linear 관계에 있다.
...