请教关于STDP训练的问题

fangwei123456 / spikingjelly

SpikingJelly is an open-source deep learning framework for Spiking Neural Network (SNN) based on PyTorch.

https://spikingjelly.readthedocs.io

Other

1.24k stars 235 forks source link

Open kkaqs opened 7 months ago

kkaqs commented 7 months ago

我按照0.0.0.0.14中的STDP教程，与梯度下降混合训练，构建VGG11识别cifar10数据集在训练过程中发现有些层的 delta_w 过大，有些层比较小，请问这种情况是正常的嘛，还是我的代码配置可能存在问题？

fangwei123456 commented 7 months ago

深度神经网络里面的权重通常都很小，大梯度是有问题的。可以先用梯度下降训练，然后用很小的学习率结合STDP去微调权重另外，STDP是无监督的方法，不一定保证微调后性能可以提升

kkaqs commented 7 months ago

好的谢谢！想问下教程中提到的权重的更新量- delta_w * scale ，其中 scale是不是用来调整 - delta_w 范围的呀，不知道是不是可以这样用

fangwei123456 commented 7 months ago

scale实际上就是学习率的意思

kkaqs commented 7 months ago

好的感谢！