search

bubbliiiing / hrnet-pytorch

这是一个hrnet-pytorch的库，可用于训练自己的语义分割数据集
MIT License
115 stars 17 forks source link

关于开启FP16训练速度大幅下降 #1

Open jctc1234 opened 2 years ago

jctc1234 commented 2 years ago

伟大的up、尊敬的b站硕导，您好。在本项目中开启混合精度训练后训练速度大幅度下降，训练时间约为原来的3倍。同时尝试在up的pspnet库中采用了混合精度训练，速度也大幅下降。请问可能是什么原因呢。。 配置：2700x+1660显卡+24g内存

jctc1234 commented 2 years ago

好像是我的显卡没有tensorcore 哈哈哈，呜呜呜呜呜

bubbliiiing commented 2 years ago

tensor core？

jctc1234 commented 2 years ago

20系以上的游戏显卡才有 哭 Tensor Core 是 NVIDIA 的先进技术，可实现混合精度计算，并能根据精度的降低动态调整算力，在保持准确性的同时提高吞吐量。从Volta到Turing到Ampere，Tensor Core已经发展了三代，它的功能也从只支持FP16混合精度的训练，到支持训练，支持FP64的计算。Tensor Core已经具备了很好的通用性。

第一代Tensor Core，为AI而生 第一代Tensor core首次出现在Volta架构，通过 FP16 和 FP32 下的混合精度矩阵乘法提供了突破性的性能 – 与 NVIDIA Pascal 相比，用于训练的峰值 teraFLOPS (TFLOPS) 性能提升了高达 12 倍，用于推理的峰值 TFLOPS 性能提升了高达 6 倍。这项关键功能使 Volta 提供了比 Pascal 高 3 倍的训练和推理性能。

bubbliiiing commented 2 years ago

0 0 可是我的笔记本也是1660ti，效果还可以啊

jctc1234 commented 2 years ago

天啊,竟然是这样的，虽然1660ti没有tensorcore，但是直接配备了独立的fp16模块。总之就是低端卡不行啦，哈哈。

GTX 1660 Ti有何不同？——专用的FP16单元GTX 1660 Ti的图灵SM架构划分成四个处理块，每个处理块拥有1个Warp调度器/调度单元、1个L0指令缓存、1个64KB寄存器、16个FP32单元、16个INT32单元以及独立的FP16单元。 最大区别在于TU102/104/106核心中，FP16单元是由Tensor Core提供的。

---原始邮件--- 发件人: @.> 发送时间: 2022年4月16日(周六) 凌晨1:39 收件人: @.>; 抄送: @.**@.>; 主题: Re: [bubbliiiing/hrnet-pytorch] 关于开启FP16训练速度大幅下降 (Issue #1)

0 0 可是我的笔记本也是1660ti，效果还可以啊

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

jctc1234 commented 2 years ago

不好意思。。我的显卡是1066.。。一开始我就说错了。。。十分抱歉。 经测试，3090开启后确实显著显存下降且训练速度略有提高。确实是1066不支持混合精度

bubbliiiing commented 2 years ago

0 0

bubbliiiing commented 2 years ago

好的

jctc1234 commented 2 years ago

查了一下游戏显卡只有20系以上的显卡才有tensorcore，才支持混合精度😂当然也不一定对

---原始邮件--- 发件人: @.> 发送时间: 2022年4月14日(周四) 凌晨0:16 收件人: @.>; 抄送: @.**@.>; 主题: Re: [bubbliiiing/hrnet-pytorch] 关于开启FP16训练速度大幅下降 (Issue #1)

tensor core？

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

jctc1234 commented 2 years ago

不好意思，我发现我一开始就写错了。。我是1066，不好意思不好意思

---原始邮件--- 发件人: @.> 发送时间: 2022年4月16日(周六) 凌晨1:39 收件人: @.>; 抄送: @.**@.>; 主题: Re: [bubbliiiing/hrnet-pytorch] 关于开启FP16训练速度大幅下降 (Issue #1)

0 0 可是我的笔记本也是1660ti，效果还可以啊

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>