search

duanshengliu / End-to-end-for-chinese-plate-recognition

基于u-net，cv2以及cnn的中文车牌定位，矫正和端到端识别软件，其中unet和cv2用于车牌定位和矫正，cnn进行车牌识别，unet和cnn都是基于tensorflow的keras实现
Apache License 2.0
515 stars 117 forks source link

关于制作自己数据集训练的相关问题？ #18

Closed Hezhexi2002 closed 8 months ago

Hezhexi2002 commented 2 years ago

@duanshengliu 大佬你好，就是我是一名大二学生，然后是在中北大学的robomaster战队里负责用神经网络识别装甲板实现自动瞄准，不过就是之前我用yolo系列训练出来的模型最后实际测试时得到的bbox和装甲板的轮廓并不能很好的拟合，导致后续使用pnp进行姿态解算时会有较大误差，所以我想使用您的这个项目先做分割把车牌提取出来，后面再用opencv提取坐标，但是目前我就是不知道该如何制作分割所需的数据集，以往都是做的目标检测的数据集，所以想请教一下大佬您？

duanshengliu commented 2 years ago

参考下我博客：https://blog.csdn.net/qq_32194791/article/details/106748685 有分割数据集的标注教程

------------------ 原始邮件 ------------------ 发件人: "duanshengliu/End-to-end-for-chinese-plate-recognition" @.>; 发送时间: 2021年12月6日(星期一) 晚上10:25 @.>; @.**@.>; 主题: [duanshengliu/End-to-end-for-chinese-plate-recognition] 关于制作自己数据集训练的相关问题？ (Issue #18)

@duanshengliu 大佬你好，就是我是一名大二学生，然后是在中北大学的robomaster战队里负责用神经网络识别装甲板实现自动瞄准，不过就是之前我用yolo系列训练出来的模型最后实际测试时得到的bbox和装甲板的轮廓并不能很好的拟合，导致后续使用pnp进行姿态解算时会有较大误差，所以我想使用您github上pytorch版的unet先做分割把车牌提取出来，后面再用opencv提取坐标，但是目前我就是不知道该如何制作分割所需的数据集，以往都是做的目标检测的数据集，所以想请教一下大佬您？

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

Hezhexi2002 commented 2 years ago

参考下我博客：https://blog.csdn.net/qq_32194791/article/details/106748685 有分割数据集的标注教程

------------------ 原始邮件 ------------------ 发件人: "duanshengliu/End-to-end-for-chinese-plate-recognition" @.>; 发送时间: 2021年12月6日(星期一) 晚上10:25 @.>; @.**@.>; 主题: [duanshengliu/End-to-end-for-chinese-plate-recognition] 关于制作自己数据集训练的相关问题？ (Issue #18)

@duanshengliu 大佬你好，就是我是一名大二学生，然后是在中北大学的robomaster战队里负责用神经网络识别装甲板实现自动瞄准，不过就是之前我用yolo系列训练出来的模型最后实际测试时得到的bbox和装甲板的轮廓并不能很好的拟合，导致后续使用pnp进行姿态解算时会有较大误差，所以我想使用您github上pytorch版的unet先做分割把车牌提取出来，后面再用opencv提取坐标，但是目前我就是不知道该如何制作分割所需的数据集，以往都是做的目标检测的数据集，所以想请教一下大佬您？

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

哦哦好的，谢谢大佬，不过我还想之后能够用openvino加速吗，因为到时候我们是部署到nuc上

duanshengliu commented 2 years ago

这个我不了解，你查查资料

------------------ 原始邮件 ------------------ 发件人: "duanshengliu/End-to-end-for-chinese-plate-recognition" @.>; 发送时间: 2021年12月6日(星期一) 晚上10:37 @.>; @.**@.>; 主题: Re: [duanshengliu/End-to-end-for-chinese-plate-recognition] 关于制作自己数据集训练的相关问题？ (Issue #18)

参考下我博客：https://blog.csdn.net/qq_32194791/article/details/106748685 有分割数据集的标注教程

------------------ 原始邮件 ------------------ 发件人: "duanshengliu/End-to-end-for-chinese-plate-recognition" @.>; 发送时间: 2021年12月6日(星期一) 晚上10:25 @.>; @.@.>; 主题: [duanshengliu/End-to-end-for-chinese-plate-recognition] 关于制作自己数据集训练的相关问题？ (Issue #18)

@duanshengliu 大佬你好，就是我是一名大二学生，然后是在中北大学的robomaster战队里负责用神经网络识别装甲板实现自动瞄准，不过就是之前我用yolo系列训练出来的模型最后实际测试时得到的bbox和装甲板的轮廓并不能很好的拟合，导致后续使用pnp进行姿态解算时会有较大误差，所以我想使用您github上pytorch版的unet先做分割把车牌提取出来，后面再用opencv提取坐标，但是目前我就是不知道该如何制作分割所需的数据集，以往都是做的目标检测的数据集，所以想请教一下大佬您？

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

哦哦好的，谢谢大佬，不过我还想之后能够用openvino加速吗，因为到时候我们是部署到nuc上

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

Hezhexi2002 commented 2 years ago

这个我不了解，你查查资料

------------------ 原始邮件 ------------------ 发件人: "duanshengliu/End-to-end-for-chinese-plate-recognition" @.>; 发送时间: 2021年12月6日(星期一) 晚上10:37 @.>; @.**@.>; 主题: Re: [duanshengliu/End-to-end-for-chinese-plate-recognition] 关于制作自己数据集训练的相关问题？ (Issue #18)

参考下我博客：https://blog.csdn.net/qq_32194791/article/details/106748685 有分割数据集的标注教程

------------------ 原始邮件 ------------------ 发件人: "duanshengliu/End-to-end-for-chinese-plate-recognition" @.>; 发送时间: 2021年12月6日(星期一) 晚上10:25 @.>; @.@.>; 主题: [duanshengliu/End-to-end-for-chinese-plate-recognition] 关于制作自己数据集训练的相关问题？ (Issue #18)

@duanshengliu 大佬你好，就是我是一名大二学生，然后是在中北大学的robomaster战队里负责用神经网络识别装甲板实现自动瞄准，不过就是之前我用yolo系列训练出来的模型最后实际测试时得到的bbox和装甲板的轮廓并不能很好的拟合，导致后续使用pnp进行姿态解算时会有较大误差，所以我想使用您github上pytorch版的unet先做分割把车牌提取出来，后面再用opencv提取坐标，但是目前我就是不知道该如何制作分割所需的数据集，以往都是做的目标检测的数据集，所以想请教一下大佬您？

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

哦哦好的，谢谢大佬，不过我还想之后能够用openvino加速吗，因为到时候我们是部署到nuc上

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

好吧，不过大佬我还想请教一下，unet在整个过程中就是为了分离出车牌的话为什么不直接用cv的二值化再滤波呢？

duanshengliu commented 2 years ago

直接用cv2 rgb转hsv然后二值化的分割效果和泛化效果都不好

------------------ 原始邮件 ------------------ 发件人: "duanshengliu/End-to-end-for-chinese-plate-recognition" @.>; 发送时间: 2021年12月6日(星期一) 晚上10:44 @.>; @.**@.>; 主题: Re: [duanshengliu/End-to-end-for-chinese-plate-recognition] 关于制作自己数据集训练的相关问题？ (Issue #18)

这个我不了解，你查查资料

------------------ 原始邮件 ------------------ 发件人: "duanshengliu/End-to-end-for-chinese-plate-recognition" @.>; 发送时间: 2021年12月6日(星期一) 晚上10:37 @.>; @.@.>; 主题: Re: [duanshengliu/End-to-end-for-chinese-plate-recognition] 关于制作自己数据集训练的相关问题？ (Issue #18)

参考下我博客：https://blog.csdn.net/qq_32194791/article/details/106748685 有分割数据集的标注教程

------------------ 原始邮件 ------------------ 发件人: "duanshengliu/End-to-end-for-chinese-plate-recognition" @.>; 发送时间: 2021年12月6日(星期一) 晚上10:25 @.>; @.@.>; 主题: [duanshengliu/End-to-end-for-chinese-plate-recognition] 关于制作自己数据集训练的相关问题？ (Issue #18)

@duanshengliu 大佬你好，就是我是一名大二学生，然后是在中北大学的robomaster战队里负责用神经网络识别装甲板实现自动瞄准，不过就是之前我用yolo系列训练出来的模型最后实际测试时得到的bbox和装甲板的轮廓并不能很好的拟合，导致后续使用pnp进行姿态解算时会有较大误差，所以我想使用您github上pytorch版的unet先做分割把车牌提取出来，后面再用opencv提取坐标，但是目前我就是不知道该如何制作分割所需的数据集，以往都是做的目标检测的数据集，所以想请教一下大佬您？

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

哦哦好的，谢谢大佬，不过我还想之后能够用openvino加速吗，因为到时候我们是部署到nuc上

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

好吧，不过大佬我还想请教一下，unet在整个过程中就是为了分离出车牌的话为什么不直接用cv的二值化再滤波呢？

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

Hezhexi2002 commented 2 years ago

直接用cv2 rgb转hsv然后二值化的分割效果和泛化效果都不好

------------------ 原始邮件 ------------------ 发件人: "duanshengliu/End-to-end-for-chinese-plate-recognition" @.>; 发送时间: 2021年12月6日(星期一) 晚上10:44 @.>; @.**@.>; 主题: Re: [duanshengliu/End-to-end-for-chinese-plate-recognition] 关于制作自己数据集训练的相关问题？ (Issue #18)

这个我不了解，你查查资料

------------------ 原始邮件 ------------------ 发件人: "duanshengliu/End-to-end-for-chinese-plate-recognition" @.>; 发送时间: 2021年12月6日(星期一) 晚上10:37 @.>; @.@.>; 主题: Re: [duanshengliu/End-to-end-for-chinese-plate-recognition] 关于制作自己数据集训练的相关问题？ (Issue #18)

参考下我博客：https://blog.csdn.net/qq_32194791/article/details/106748685 有分割数据集的标注教程

------------------ 原始邮件 ------------------ 发件人: "duanshengliu/End-to-end-for-chinese-plate-recognition" @.>; 发送时间: 2021年12月6日(星期一) 晚上10:25 @.>; @.@.>; 主题: [duanshengliu/End-to-end-for-chinese-plate-recognition] 关于制作自己数据集训练的相关问题？ (Issue #18)

@duanshengliu 大佬你好，就是我是一名大二学生，然后是在中北大学的robomaster战队里负责用神经网络识别装甲板实现自动瞄准，不过就是之前我用yolo系列训练出来的模型最后实际测试时得到的bbox和装甲板的轮廓并不能很好的拟合，导致后续使用pnp进行姿态解算时会有较大误差，所以我想使用您github上pytorch版的unet先做分割把车牌提取出来，后面再用opencv提取坐标，但是目前我就是不知道该如何制作分割所需的数据集，以往都是做的目标检测的数据集，所以想请教一下大佬您？

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

哦哦好的，谢谢大佬，不过我还想之后能够用openvino加速吗，因为到时候我们是部署到nuc上

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

好吧，不过大佬我还想请教一下，unet在整个过程中就是为了分离出车牌的话为什么不直接用cv的二值化再滤波呢？

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

好吧，就是我们图片输入应该是640x480，那用unet定位的效果和用关键点的效果哪个更好呢，因为我现在基于yolov5-face这个仓库也在做关键点检测的模型，主要是我们后面要用pnp来解算x，y，z，对于装甲板的坐标精度要求就比较高，之前用yolov5直接检测对于装甲板的拟合效果不好

duanshengliu commented 2 years ago

这个我没有对比过，不太清楚哎

---原始邮件--- 发件人: @.> 发送时间: 2021年12月6日(周一) 晚上10:59 收件人: @.>; 抄送: @.**@.>; 主题: Re: [duanshengliu/End-to-end-for-chinese-plate-recognition] 关于制作自己数据集训练的相关问题？ (Issue #18)

直接用cv2 rgb转hsv然后二值化的分割效果和泛化效果都不好

------------------ 原始邮件 ------------------ 发件人: "duanshengliu/End-to-end-for-chinese-plate-recognition" @.>; 发送时间: 2021年12月6日(星期一) 晚上10:44 @.>; @.@.>; 主题: Re: [duanshengliu/End-to-end-for-chinese-plate-recognition] 关于制作自己数据集训练的相关问题？ (Issue #18)

这个我不了解，你查查资料

------------------ 原始邮件 ------------------ 发件人: "duanshengliu/End-to-end-for-chinese-plate-recognition" @.>; 发送时间: 2021年12月6日(星期一) 晚上10:37 @.>; @.@.>; 主题: Re: [duanshengliu/End-to-end-for-chinese-plate-recognition] 关于制作自己数据集训练的相关问题？ (Issue #18)

参考下我博客：https://blog.csdn.net/qq_32194791/article/details/106748685 有分割数据集的标注教程

------------------ 原始邮件 ------------------ 发件人: "duanshengliu/End-to-end-for-chinese-plate-recognition" @.>; 发送时间: 2021年12月6日(星期一) 晚上10:25 @.>; @.@.>; 主题: [duanshengliu/End-to-end-for-chinese-plate-recognition] 关于制作自己数据集训练的相关问题？ (Issue #18)

@duanshengliu 大佬你好，就是我是一名大二学生，然后是在中北大学的robomaster战队里负责用神经网络识别装甲板实现自动瞄准，不过就是之前我用yolo系列训练出来的模型最后实际测试时得到的bbox和装甲板的轮廓并不能很好的拟合，导致后续使用pnp进行姿态解算时会有较大误差，所以我想使用您github上pytorch版的unet先做分割把车牌提取出来，后面再用opencv提取坐标，但是目前我就是不知道该如何制作分割所需的数据集，以往都是做的目标检测的数据集，所以想请教一下大佬您？

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

哦哦好的，谢谢大佬，不过我还想之后能够用openvino加速吗，因为到时候我们是部署到nuc上

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

好吧，不过大佬我还想请教一下，unet在整个过程中就是为了分离出车牌的话为什么不直接用cv的二值化再滤波呢？

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

好吧，就是我们图片输入应该是640x480，那用unet定位的效果和用关键点的效果哪个更好呢，因为我现在基于yolov5-face这个仓库也在做关键点检测的模型，主要是我们后面要用pnp来解算x，y，z，对于装甲板的坐标精度要求就比较高，之前用yolov5直接检测对于装甲板的拟合效果不好

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

Hezhexi2002 commented 2 years ago

这个我没有对比过，不太清楚哎

---原始邮件--- 发件人: @.> 发送时间: 2021年12月6日(周一) 晚上10:59 收件人: @.>; 抄送: @.**@.>; 主题: Re: [duanshengliu/End-to-end-for-chinese-plate-recognition] 关于制作自己数据集训练的相关问题？ (Issue #18)

直接用cv2 rgb转hsv然后二值化的分割效果和泛化效果都不好

------------------ 原始邮件 ------------------ 发件人: "duanshengliu/End-to-end-for-chinese-plate-recognition" @.>; 发送时间: 2021年12月6日(星期一) 晚上10:44 @.>; @.@.>; 主题: Re: [duanshengliu/End-to-end-for-chinese-plate-recognition] 关于制作自己数据集训练的相关问题？ (Issue #18)

这个我不了解，你查查资料

------------------ 原始邮件 ------------------ 发件人: "duanshengliu/End-to-end-for-chinese-plate-recognition" @.>; 发送时间: 2021年12月6日(星期一) 晚上10:37 @.>; @.@.>; 主题: Re: [duanshengliu/End-to-end-for-chinese-plate-recognition] 关于制作自己数据集训练的相关问题？ (Issue #18)

参考下我博客：https://blog.csdn.net/qq_32194791/article/details/106748685 有分割数据集的标注教程

------------------ 原始邮件 ------------------ 发件人: "duanshengliu/End-to-end-for-chinese-plate-recognition" @.>; 发送时间: 2021年12月6日(星期一) 晚上10:25 @.>; @.@.>; 主题: [duanshengliu/End-to-end-for-chinese-plate-recognition] 关于制作自己数据集训练的相关问题？ (Issue #18)

@duanshengliu 大佬你好，就是我是一名大二学生，然后是在中北大学的robomaster战队里负责用神经网络识别装甲板实现自动瞄准，不过就是之前我用yolo系列训练出来的模型最后实际测试时得到的bbox和装甲板的轮廓并不能很好的拟合，导致后续使用pnp进行姿态解算时会有较大误差，所以我想使用您github上pytorch版的unet先做分割把车牌提取出来，后面再用opencv提取坐标，但是目前我就是不知道该如何制作分割所需的数据集，以往都是做的目标检测的数据集，所以想请教一下大佬您？

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

哦哦好的，谢谢大佬，不过我还想之后能够用openvino加速吗，因为到时候我们是部署到nuc上

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

好吧，不过大佬我还想请教一下，unet在整个过程中就是为了分离出车牌的话为什么不直接用cv的二值化再滤波呢？

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

好吧，就是我们图片输入应该是640x480，那用unet定位的效果和用关键点的效果哪个更好呢，因为我现在基于yolov5-face这个仓库也在做关键点检测的模型，主要是我们后面要用pnp来解算x，y，z，对于装甲板的坐标精度要求就比较高，之前用yolov5直接检测对于装甲板的拟合效果不好

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

大佬，我还想请问一下，在您的这个项目中unet就是相当于起到二值化分割出车牌的作用，然后你又单独训练了一个cnn来识别车牌内容，就是我现在的需求也是需要定位出装甲板的位置，然后也需要识别装甲板上的数字，所以我也需要重新训练一个cnn来识别数字吗？

Hezhexi2002 commented 2 years ago

@duanshengliu 3_demo(1).jpg 装甲板其实就是这个，和车牌其实挺挺相似的，主要是之前一直用yolo检测的bbox与装甲板拟合的不好，所以得到的四个角点坐标也不太准确就会影响后续pnp的解算，所以我打算用unet分割然后cv定位

duanshengliu commented 2 years ago

yolo检测的不好有可能是训练或者数据集的问题，我感觉yolo本身应该可以检测的不错

---原始邮件--- 发件人: @.> 发送时间: 2021年12月7日(周二) 上午10:03 收件人: @.>; 抄送: @.**@.>; 主题: Re: [duanshengliu/End-to-end-for-chinese-plate-recognition] 关于制作自己数据集训练的相关问题？ (Issue #18)

@duanshengliu 装甲板其实就是这个，和车牌其实挺挺相似的，主要是之前一直用yolo检测的bbox与装甲板拟合的不好，所以得到的四个角点坐标也不太准确就会影响后续pnp的解算，所以我打算用unet分割然后cv定位

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

Hezhexi2002 commented 2 years ago

yolo检测的不好有可能是训练或者数据集的问题，我感觉yolo本身应该可以检测的不错

---原始邮件--- 发件人: @.> 发送时间: 2021年12月7日(周二) 上午10:03 收件人: @.>; 抄送: @.**@.>; 主题: Re: [duanshengliu/End-to-end-for-chinese-plate-recognition] 关于制作自己数据集训练的相关问题？ (Issue #18)

@duanshengliu 装甲板其实就是这个，和车牌其实挺挺相似的，主要是之前一直用yolo检测的bbox与装甲板拟合的不好，所以得到的四个角点坐标也不太准确就会影响后续pnp的解算，所以我打算用unet分割然后cv定位

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

大佬，那能指点一下训练和数据集制作有哪些问题会导致这个问题呢？

Hezhexi2002 commented 2 years ago

yolo检测的不好有可能是训练或者数据集的问题，我感觉yolo本身应该可以检测的不错

---原始邮件--- 发件人: @.> 发送时间: 2021年12月7日(周二) 上午10:03 收件人: @.>; 抄送: @.**@.>; 主题: Re: [duanshengliu/End-to-end-for-chinese-plate-recognition] 关于制作自己数据集训练的相关问题？ (Issue #18)

@duanshengliu 装甲板其实就是这个，和车牌其实挺挺相似的，主要是之前一直用yolo检测的bbox与装甲板拟合的不好，所以得到的四个角点坐标也不太准确就会影响后续pnp的解算，所以我打算用unet分割然后cv定位

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

大佬，那能指点一下训练和数据集制作有哪些问题会导致这个问题呢？