fangwei123456 / Parametric-Leaky-Integrate-and-Fire-Spiking-Neuron

Incorporating Learnable Membrane Time Constant to Enhance Learning of Spiking Neural Networks
92 stars 25 forks source link

请教一下原文中公式的问题 #14

Open Taotaonoangry opened 1 year ago

Taotaonoangry commented 1 year ago

作者 您好 image image 在阅读您的文章时,我也试着自己推了下这个公式。链式图是这样的, image

想请问一下这个a是不是也应该分a[t-1]和a[t]呢 为什么不需要对t时刻的a求导呢

fangwei123456 commented 1 year ago

实际上是需要的,最终a的梯度是所有a[t]梯度之和。在论文里面直接写了求和式,跳过了这一个中间步骤。方法类似于《深度学习》一书中介绍BPTT如何对W求梯度时用的方法: image

fangwei123456 commented 1 year ago

image 在PLIF神经元的CUDA内核中,梯度计算按上图 https://github.com/fangwei123456/spikingjelly/blob/master/spikingjelly/activation_based/neuron_kernel.md