search

caicloud / tensorflow-tutorial

Example TensorFlow codes and Caicloud TensorFlow as a Service dev environment.
2.93k stars 2.08k forks source link

关于多GPU并行和分布式并行的设想和疑问 #81

Closed Zzmc closed 6 years ago

Zzmc commented 6 years ago

是否可以实现多GPU实现和分布式并行的结合，即集群每个节点有多个GPU，每个节点的计算用多GPU代码实现，求得的参数再用分布式代码提交到参数服务器进行整合。因为我发现，每个task只管理1个GPU效率较低，是否可以实现一个task管理多个GPU？请问可以给点建议吗？是否有相关的资料可以参考？

EthanLingo commented 6 years ago

我不太懂哈，请你问别人 ^_^

发件人: Zzmc [mailto:notifications@github.com] 发送时间: 2017年11月30日 17:31 收件人: caicloud/tensorflow-tutorial tensorflow-tutorial@noreply.github.com 抄送: Subscribed subscribed@noreply.github.com 主题: [caicloud/tensorflow-tutorial] 关于多GPU并行和分布式并行的设想和疑问 (#81)

是否可以实现多GPU实现和分布式并行的结合，即集群每个节点有多个GPU，每个节点的计算用多GPU代码实现，求得的参数再用分布式代码提交到参数服务器进行整合。因为我发现，每个task只管理1个GPU效率较低，是否可以实现一个task管理多个GPU？请问可以给点建议吗？是否有相关的资料可以参考？

— You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHubhttps://github.com/caicloud/tensorflow-tutorial/issues/81, or mute the threadhttps://github.com/notifications/unsubscribe-auth/AZQLY8Bc1BJmrEp9ypmlUwl4tby4cPLIks5s7nXwgaJpZM4QwQYk.

perhapszzy commented 6 years ago

每个节点使用多个GPU是可行的，具体可以参考tensorflow官方样例

caicloud-bot commented 6 years ago

Issues go stale after 90d of inactivity. Mark the issue as fresh with /remove-lifecycle stale. Stale issues rot after an additional 30d of inactivity and eventually close.

Prevent issues from auto-closing with an /lifecycle frozen comment.

If this issue is safe to close now please do so with /close.

/lifecycle stale