search

PaddlePaddle / PaddleDetection

Object Detection toolkit based on PaddlePaddle. It supports object detection, instance segmentation, multiple object tracking and real-time multi-person keypoint detection.
Apache License 2.0
12.8k stars 2.89k forks source link

只训练一轮epoch就结束了 #3476

Closed lizhenhanabc closed 2 years ago

lizhenhanabc commented 3 years ago

根据教程，输入 python tools/train.py -c configs/yolov3/yolov3_mobilenet_v1_roadsign.yml ，只训练一轮就结束了，没有任何报错，环境python3.7，paddledetection是clone的2.1-gpu版本，epoch是默认的12。 1

wangxinxin08 commented 3 years ago

麻烦贴下Paddle版本，PaddleDetection版本，我明天找台windows机器复现一下

lizhenhanabc commented 3 years ago

麻烦贴下Paddle版本，PaddleDetection版本，我明天找台windows机器复现一下

版本是2.1.0 2 之前这台电脑有用过darknet跑yolo4，这个显卡配置和驱动应该是没问题，然后用paddle训练的时候，设置了gpu训练，但是gpu算力占用只有2%左右，第一轮的训练完，还没保存就结束了（设置12个epoch，每个epoch保存一次）

wangxinxin08 commented 3 years ago

我们在linux下没遇到过这个问题，等下找台windows机器试下

lizhenhanabc commented 3 years ago

我们在linux下没遇到过这个问题，等下找台windows机器试下

麻烦你了- ̗̀(๑ᵔ⌔ᵔ๑)

wangxinxin08 commented 3 years ago

这个问题我同事有定位过问题，目前还没有一个确切的结论，不使用anaconda，直接使用python环境不会出现这个问题

lizhenhanabc commented 3 years ago

这个问题我同事有定位过问题，目前还没有一个确切的结论，不使用anaconda，直接使用python环境不会出现这个问题 好的，我用python环境试一下，还有想问一下paddledetection的maskrcnn或者solov2能在C++上部署吗？

wangxinxin08 commented 3 years ago

mask rcnn可以，solov2之后会支持

lizhenhanabc commented 3 years ago

mask rcnn可以，solov2之后会支持

我换成pycharm来弄，还是只训练一轮就结束了，output里面没有保存，我看到也有人在问，是不是在哪里return掉了？我换成CPU训练，也是只训练一轮，output没有保存。 1 2

cpsu00 commented 3 years ago

我也在FRCNN遇到一樣的問題 python tools/train.py -c configs/faster_rcnn/faster_rcnn_r50_1x.yml --use_vdl=true --vdl_log_dir=vdl_dir/scalar

image

lizhenhanabc commented 3 years ago

@wangxinxin08 这个确实是个问题。。。有定位到问题所在吗？

wangxinxin08 commented 3 years ago

@lizhenhanabc 不用anaconda创建的虚拟环境不会出现该问题，不是已经说过用原生python环境训练吗？

wangbo-git commented 3 years ago

@wangxinxin08这个确实是一个问题。。。有锁定到问题吗？

请问您解决这个问题了吗 我也是只能训练迭代一轮 就跳出是什么问题呢？ （试了环境用anaconda和python原声环境 都会出现这个问题） 5736363ebd0ad6386099f9399fb408d

robisly commented 3 years ago

同样遇到这个问题，也同样试了环境用anaconda和python原生环境 都没有解决这个问题

lizhenhanabc commented 3 years ago

@wangxinxin08这个确实是一个问题。。。有锁定到问题吗？

请问您解决这个问题了吗 我也是只能训练迭代一轮 就跳出是什么问题呢？ （试了环境用anaconda和python原声环境 都会出现这个问题） 5736363ebd0ad6386099f9399fb408d

我的问题还没解决，我试了用pycharm创建的python环境，也是不行。

lizhenhanabc commented 3 years ago

同样遇到这个问题，也同样试了环境用anaconda和python原生环境 都没有解决这个问题

@wangxinxin08 有定位到吗？确实很多人都遇到。。。

oldZhangYH commented 3 years ago

我也遇到了这个问题，ubuntu上没有问题。但是在windows上训练一轮就跳出也不保存模型

wexin-c commented 3 years ago

image 我也遇到这个情况，请问解决了吗

oldZhangYH commented 3 years ago

没

---原始邮件--- 发件人: @.> 发送时间: 2021年7月11日(周日) 上午9:45 收件人: @.>; 抄送: @.**@.>; 主题: Re: [PaddlePaddle/PaddleDetection] 只训练一轮epoch就结束了 (#3476)

我也遇到这个情况，请问解决了吗

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

xlh9718 commented 3 years ago

我也遇到这个问题，还没有解决吗？

wexin-c commented 3 years ago

据说windows系统不兼容的问题

------------------ 原始邮件 ------------------ 发件人: @.>; 发送时间: 2021年7月23日(星期五) 下午4:11 收件人: @.>; 抄送: @.>; @.>; 主题: Re: [PaddlePaddle/PaddleDetection] 只训练一轮epoch就结束了 (#3476)

我也遇到这个问题，还没有解决吗？

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

xlh9718 commented 3 years ago

非常感谢您的回复。 奇怪的是，我在家里的电脑也是 win10 系统，可以正常训练跑完指定的 epoch。 但在公司的电脑上，就是不行。 下载的模型，推理测试都正常的，说明 CUDA 驱动都 OK 的。 训练过程中，PaddleDet  内部记录的有 log 吗，可以帮助诊断这个问题？

------------------ 原始邮件 ------------------ 发件人: "PaddlePaddle/PaddleDetection" @.>; 发送时间: 2021年7月23日(星期五) 下午4:15 @.>; 抄送: "XLH"<xlh9718@@.***>; 主题: Re: [PaddlePaddle/PaddleDetection] 只训练一轮epoch就结束了 (#3476)

据说windows系统不兼容的问题

------------------&nbsp;原始邮件&nbsp;------------------ 发件人: @.&gt;;
发送时间: 2021年7月23日(星期五) 下午4:11 收件人: @.&gt;;
抄送: @.&gt;; @.&gt;;
主题: Re: [PaddlePaddle/PaddleDetection] 只训练一轮epoch就结束了 (#3476)

我也遇到这个问题，还没有解决吗？

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe. — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

wexin-c commented 3 years ago

动态图版本好像不行 

------------------ 原始邮件 ------------------ 发件人: "PaddlePaddle/PaddleDetection" @.>; 发送时间: 2021年7月23日(星期五) 下午5:21 @.>; @.**@.>; 主题: Re: [PaddlePaddle/PaddleDetection] 只训练一轮epoch就结束了 (#3476)

非常感谢您的回复。 奇怪的是，我在家里的电脑也是 win10 系统，可以正常训练跑完指定的 epoch。 但在公司的电脑上，就是不行。 下载的模型，推理测试都正常的，说明 CUDA 驱动都 OK 的。 训练过程中，PaddleDet&nbsp; 内部记录的有 log 吗，可以帮助诊断这个问题？

------------------&nbsp;原始邮件&nbsp;------------------ 发件人: "PaddlePaddle/PaddleDetection" @.&gt;; 发送时间:&nbsp;2021年7月23日(星期五) 下午4:15 @.&gt;; 抄送:&nbsp;"XLH"<xlh9718@@.***&gt;; 主题:&nbsp;Re: [PaddlePaddle/PaddleDetection] 只训练一轮epoch就结束了 (#3476)

据说windows系统不兼容的问题

------------------&amp;nbsp;原始邮件&amp;nbsp;------------------
发件人: @.&amp;gt;;
发送时间: 2021年7月23日(星期五) 下午4:11
收件人: @.&amp;gt;;
抄送: @.&amp;gt;; @.&amp;gt;;
主题: Re: [PaddlePaddle/PaddleDetection] 只训练一轮epoch就结束了 (#3476)

我也遇到这个问题，还没有解决吗？

—
You are receiving this because you commented.
Reply to this email directly, view it on GitHub, or unsubscribe.
— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe. — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

xlh9718 commented 3 years ago

PaddleDetection 2.2 版本解决了上面的问题，感谢！

FAFUzxf commented 2 years ago

我用的是最新的2.3版本，也出现了这个问题，请问具体是什么原因造成的？

paddle-bot-old[bot] commented 2 years ago

Since this issue has not been updated for more than three months, it will be closed, if it is not solved or there is a follow-up one, please reopen it at any time and we will continue to follow up. It is recommended to pull and try the latest code first. 由于该问题超过三个月未更新，将会被关闭，若问题未解决或有后续问题，请随时重新打开（建议先拉取最新代码进行尝试），我们会继续跟进。

Synmul commented 1 year ago

我PaddleDetection2.5版本 win10 python原生环境 也遇到这个问题 有解决方法

kuhippo commented 1 year ago

我也有

Synmul commented 1 year ago

我也有

换2.2就解决了.

kuhippo commented 1 year ago

我2.6也有这个问题

Synmul commented 1 year ago

我2.6也有这个问题

把Paddle版本退回去，我也忘了是不是2.2了，不是这个PaddleDetection的版本.