megvii-research / TLC

Test-time Local Converter
Other
228 stars 9 forks source link

关于*local里面的base_size和train_szie #26

Open xiaodaobuzhi opened 9 months ago

xiaodaobuzhi commented 9 months ago

你好,这个*local的类里面的base_size为什么设置成train size的1.5倍,还有这个base_size是什么意思呢,train_size是只网络训练的时候的数据尺寸吗?谢谢

achusky commented 4 months ago

你好,抱歉现在才回复你

base_size可以理解为测试时“虚拟的数据裁切尺寸(local window)”。它并不会真的让网络在测试时裁切原始数据,但会影响“数据统计操作”的感受野。例如,SE中的avgpool的pool size。 它是一个超参数,可以根据需要进行设置。默认设置为训练数据尺寸(train_size)的1.5倍。该超参数是两方面的权衡:

  1. 更大的数值可以让“数据统计操作”有更大的感受野,从而获得更好的性能
  2. 更大的数值会增加训练和测试的不一致性,这会带来负面影响

因此默认值根据经验设置为1.5来平衡正面影响和负面影响。具体实验和解释见论文章节4.2