machanic / AU_R-CNN

The official implementation code of paper: "AU R-CNN:Encoding Expert Prior Knowledge into R-CNN for Action Unit Detection".
https://arxiv.org/abs/1812.05788
87 stars 24 forks source link

关于lstm_end_to_end.py的一些问题,想要请教 #33

Open LLLaity opened 1 year ago

LLLaity commented 1 year ago

大佬,我最近在学习您的这个时空网络,想要复现一下,但是关于您的模型设定一直搞不明白,尤其是关于enum_type.py中的每个模式具体的作用是如何设定和起作用的不是很懂,想向您请教一下。比如我如果单纯的想要通过resnet101提取特征,然后通过lstm进行时间维度的处理,那在参数这里要如何设定呢?大佬,您能指教一下吗?万分感谢!

如下: parser.add_argument('--spatial_edge_mode', type=SpatialEdgeMode, choices=list(SpatialEdgeMode), help='1:all_edge, 2:configure_edge, 3:no_edge')

parser.add_argument('--spatial_sequence_type', type=SpatialSequenceType, choices=list(SpatialSequenceType), help='1:all_edge, 2:configure_edge, 3:no_edge')

parser.add_argument('--temporal_edge_mode', type=TemporalEdgeMode, choices=list(TemporalEdgeMode), help='1:rnn, 2:attention_block, 3.point-wise feed forward(no temporal)')

parser.add_argument('--two_stream_mode', type=TwoStreamMode, choices=list(TwoStreamMode), help='spatial/ temporal/ spatial_temporal')

parser.add_argument('--conv_rnn_type', type=ConvRNNType, choices=list(ConvRNNType), help='conv_lstm or conv_sru')

machanic commented 1 year ago

你用这个选项吧 --temporal_edge_mode,具体你看看代码,这个代码几年前写的,我记得不是很清了,但整体逻辑是把人脸的各个区域变成一个个node,然后整体一个graph连接起来。

LLLaity commented 1 year ago

好的,非常感谢帮助!