search

fangwei123456 / spikingjelly

SpikingJelly is an open-source deep learning framework for Spiking Neural Network (SNN) based on PyTorch.
https://spikingjelly.readthedocs.io
Other
1.32k stars 237 forks source link

基于yolov5s模型构建snn模型做目标检测在单步模式下模型不收敛 #358

Open LittleRain626 opened 1 year ago

LittleRain626 commented 1 year ago

Issue type

SpikingJelly version

latest

Description

基于yolov5最新版本的代码，将其修改为snn版本，优化器保持为原始梯度优化器，在单步模式下模型不收敛，在多步模式下(时间步长设为4)也不收敛，请问这个问题有人碰到过吗？

fangwei123456 commented 1 year ago

yolov5这种规模的深度SNN，直接训练不收敛是很正常的。换adam和小学习率试试

HaoyuYao commented 10 months ago

请问您是与使用的ANN-SNN的方法来将yolov5进行转化吗？我在对yolov3-tiny进行ANN-SNN的转换时，发现目标识别结果很差

LittleRain626 commented 10 months ago

请问您是与使用的ANN-SNN的方法来将yolov5进行转化吗？我在对yolov3-tiny进行ANN-SNN的转换时，发现目标识别结果很差

不是的，我是直接尝试对SNN版本的Yolov5进行训练，但模型不收敛

HaoyuYao commented 10 months ago

如果您的任务能够允许使用ANN-SNN的方法对Yolo进行转化，可以尝试一下Spiking-YOLO: Spiking Neural Network for Energy-Efficient Object Detection AAAI 2020中使用的channel-wise和signed neuron方法，目前我正在spikingjelly框架中尝试使用这两种方法对yolo进行ann-snn转化

LittleRain626 commented 10 months ago

如果您的任务能够允许使用ANN-SNN的方法对Yolo进行转化，可以尝试一下Spiking-YOLO: Spiking Neural Network for Energy-Efficient Object Detection AAAI 2020中使用的channel-wise和signed neuron方法，目前我正在spikingjelly框架中尝试使用这两种方法对yolo进行ann-snn转化

谢谢您的建议！我之前也有尝试过直接转换yolov5，不过也失败了，因为这个课题不是我主要研究的方向所以后续也没有继续尝试了，希望您能成功！