search

hhe-distance / AIF-CNN

Convolutional Neural Network with Adaptive Inferential Framework for Skeleton-Based Action Recognition in PyTorch
7 stars 0 forks source link

关于先验知识初始化 #6

Open PJJie opened 4 years ago

PJJie commented 4 years ago

您好，请问是不是只有网络第一层才用Graph initialization strategy得到的A，后面的A都是使用随机初始化？

hhe-distance commented 4 years ago

您好，对于后面几层，实验中我们采用了RIS的初始化方式，其中P我们选用了单位阵

PJJie commented 4 years ago

您好，对于后面几层，实验中我们采用了RIS的初始化方式，其中P我们选用了单位阵

谢谢您的回答，另外我还有几个问题，1、您论文上说是使用GIS效果是最好的，为什么后面的层又使用了RIS呢，是当所有层都使用GIS的时候效果不够好吗？2、您论文的源码是基于HCN上修改的，但是你源码上没有使用HCN的共现特征，请问你们做实验的时候是有尝试过这种方法吗？3、您的参数使用的是300帧，当使用64帧或者更少帧的情况下能保证精度吗？

hhe-distance commented 4 years ago

1、GIS先验的引入，是基于原始的骨架图的，因此随着池化操作后节点的减少，后层无法再使用GIS的先验，因此，我们使用RIS,让网络通过数据学习出节点之间的依赖关系；2、HCN这篇论文，实现的时候采用了通道的变换，我们认为这样会造成节点间空间特征的丢失，这也是我们对HCN模型进行修改的原因；3、HCN网络随着帧数的增加，识别准确率不会有明显改善，但我们的模型是会受帧数影响的。如，当我们帧数采用64的时候，准确率会下降到94.036，当帧数选32的时候，识别准确率会降到93.783。

PJJie commented 4 years ago

1、GIS先验的引入，是基于原始的骨架图的，因此随着池化操作后节点的减少，后层无法再使用GIS的先验，因此，我们使用RIS,让网络通过数据学习出节点之间的依赖关系；2、HCN这篇论文，实现的时候采用了通道的变换，我们认为这样会造成节点间空间特征的丢失，这也是我们对HCN模型进行修改的原因；3、HCN网络随着帧数的增加，识别准确率不会有明显改善，但我们的模型是会受帧数影响的。如，当我们帧数采用64的时候，准确率会下降到94.036，当帧数选32的时候，识别准确率会降到93.783。

十分感谢您的回答！！

PJJie commented 4 years ago

1、GIS先验的引入，是基于原始的骨架图的，因此随着池化操作后节点的减少，后层无法再使用GIS的先验，因此，我们使用RIS,让网络通过数据学习出节点之间的依赖关系；2、HCN这篇论文，实现的时候采用了通道的变换，我们认为这样会造成节点间空间特征的丢失，这也是我们对HCN模型进行修改的原因；3、HCN网络随着帧数的增加，识别准确率不会有明显改善，但我们的模型是会受帧数影响的。如，当我们帧数采用64的时候，准确率会下降到94.036，当帧数选32的时候，识别准确率会降到93.783。

十分感谢您的回答！！

还有2个问题，1、A=1/(l+1)^2,这个公式是怎么来的呢，根据论文应该是想表示两个关节点越近相关性越好，那使用A=1/l也可以，使用A=1/l^2也可以等等，A=1/(l+1)^2的优势在哪里，这是根据数学上的某个原理吗？2、运行您的源码时，32G的内存都不够，之前运行过HCN的代码是完全足够的，请问您知道这个原因吗？感谢您的再次回答！