Can I increase the value of the time step parameter by increasing the number of GPUs?

Yiiiike commented 3 years ago

作者您好！我单块GPU的显存上限只有12g，在运行ann-to-snn的时候，只能设置的time step值为16，否则就会显存不够，然而这样的值转换出来的SNN的mAP聊胜于无。我能否通过使用多块gpu的方式来设置更高的time steps参数呢？如果有，请您告诉我。非常感谢您的帮助。

cwq159 commented 3 years ago

font{
    line-height: 1.6;
}
ul,ol{
    padding-left: 20px;
    list-style-position: inside;
}

目前可以做到的极限是，多块gpu每块将batch_size设为1，这样可以做大程度压缩mini-batch，然后在此基础上增大timesteps至每块gpu的显存上限。

                            cwq

                                ***@***.***

    签名由
    网易邮箱大师
    定制

On 06/3/2021 ***@***.***> wrote：

作者您好！我单块GPU的显存上限只有12g，在运行ann-to-snn的时候，只能设置的time step值为16，否则就会显存不够，然而这样的值转换出来的SNN的mAP聊胜于无。我能否通过使用多块gpu的方式来设置更高的time steps参数呢？如果有，请您告诉我。非常感谢您的帮助。

—You are receiving this because you are subscribed to this thread.Reply to this email directly, view it on GitHub, or unsubscribe.

Yiiiike commented 3 years ago

感谢您的解答

Perfect-August commented 3 years ago

你好,请问你用多卡运行ann-snn的时候成功了吗?出现TypeError: zip argument #1 must support iteration错误该如何解决那?

Yiiiike commented 3 years ago

我没有遇到过这个问题，帮助不到你。问问作者吧。

------------------ 原始邮件 ------------------ 发件人: @.>; 发送时间: 2021年8月19日(星期四) 下午3:56 收件人: @.>; 抄送: @.>; @.>; 主题: Re: [cwq159/PyTorch-Spiking-YOLOv3] Can I increase the value of the time step parameter by increasing the number of GPUs? (#19)

你好,请问你用多卡运行ann-snn的时候成功了吗?出现TypeError: zip argument #1 must support iteration错误该如何解决那?

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

Perfect-August commented 3 years ago

那么请问你用多块显卡成功运行了ann-snn吗？以及最终使用的显卡数量和时间步长设置？我本身在设置多张显卡运行ann-snn的时候，实际上只使用了一块，在添加了nn.DataParallel(Moudel)代码之后，才出现了以上错误。

ryikl commented 2 years ago

我没有遇到过这个问题，帮助不到你。问问作者吧。 … ------------------ 原始邮件 ------------------ 发件人: @.>; 发送时间: 2021年8月19日(星期四) 下午3:56 收件人: @.>; 抄送: @.>; @.>; 主题: Re: [cwq159/PyTorch-Spiking-YOLOv3] Can I increase the value of the time step parameter by increasing the number of GPUs? (#19) 你好,请问你用多卡运行ann-snn的时候成功了吗?出现TypeError: zip argument #1 must support iteration错误该如何解决那? — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

感谢您的解答

你好，我考虑使用多GPU，一开始在device中写上要用的卡，但后边发现只用了一块卡。后来通过使用nn.DataParallel之后，会出现内存分布问题。我在一个issues中看到你聊到使用多GPU的问题，想请教一下你是怎么使用多GPU的，具体在哪里做改动。所以，我想请教一下，你是怎么使用多块显卡的，需要在哪里做改动？你是怎么做的？谢谢！

yuanyuan0072 commented 2 weeks ago

我没有遇到过这个问题，帮助不到你。问问作者吧。 … ------------------ 原始邮件 ------------------ 发件人: @.**>; 发送时间: 2021年8月19日(星期四) 下午3:56 收件人: @.**>; 抄送: @.**>; @.**>; 主题: Re: [cwq159/PyTorch-Spiking-YOLOv3] Can I increase the value of the time step parameter by increasing the number of GPUs? (#19) 你好,请问你用多卡运行ann-snn的时候成功了吗?出现TypeError: zip argument #1 must support iteration错误该如何解决那? — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

感谢您的解答

你好，我考虑使用多GPU，一开始在device中写上要用的卡，但后边发现只用了一块卡。后来通过使用nn.DataParallel之后，会出现内存分布问题。我在一个issues中看到你聊到使用多GPU的问题，想请教一下你是怎么使用多GPU的，具体在哪里做改动。所以，我想请教一下，你是怎么使用多块显卡的，需要在哪里做改动？你是怎么做的？谢谢！

您好，请问您有解决这个问题吗，具体该如何使用多块GPU进行ANN到SNN的转换呢

cwq159 / PyTorch-Spiking-YOLOv3

Can I increase the value of the time step parameter by increasing the number of GPUs? #19