Open caowencai opened 5 years ago
另外,请教一下valid_dim=3的作用, 默认应该是全排列,向量两两之间进行计算,所有特征都应该计算注意力。 valid_dim的作用就是人为筛选前面的部分特征用来计算注意力,是这样吧?
如果用途是筛选good features interaction,按照原作者以及你的实现方式,特征排序前面的valid_dim个特征就代表了注意力筛选的good features,这样的话特征排序也有必要?