Open shouldsee opened 4 years ago
神经网络对离散性质的处理是糟糕的.尽管Softmax可以模拟(1,0,0)这种one-hot矢量,但是并不能完全满足(1,0,0) 中的后两位为零的约束条件.这就造成了一些信息的泄漏,导致模型约束不能满足.相比较之下,蒙特卡罗模拟能够更好地满足这种约束条件.但是MCMC/hill-climbing并不总是最速解
为了处理离散域上的采样,考虑如下分布.
$$ \begin{align} x &\sim Perm(D,beta,S_n)\\ x &\in S_n \\ e.g.: \, x &= \{1,2,3,4,5\} \,or\, \{1,3,2,4,5\} \,or \dots \\ P(x) &= C \exp( - beta \sum_i D[i,x[i] ] ) \end{align} $$
目前没有找到现有的采样算法.望各路大神指教.我稍稍写了一个heuristics但是显然只能暂时用用
This looks remotely relevant Equivariance Through Parameter-Sharing https://arxiv.org/abs/1702.08389
神经网络对离散性质的处理是糟糕的.尽管Softmax可以模拟(1,0,0)这种one-hot矢量,但是并不能完全满足(1,0,0) 中的后两位为零的约束条件.这就造成了一些信息的泄漏,导致模型约束不能满足.相比较之下,蒙特卡罗模拟能够更好地满足这种约束条件.但是MCMC/hill-climbing并不总是最速解
需要继续考察一下是否存在好的稀疏回归算法.
为了处理离散域上的采样,考虑如下分布.
目前没有找到现有的采样算法.望各路大神指教.我稍稍写了一个heuristics但是显然只能暂时用用