語意分割跟物件偵測是否可能同時顯示出來?

[stphtan94117]

我知道機會渺茫，大概也不行，但還是想了解一下是否有其他方式可以儘可能顯示 就是有些地方我想要segmentation，可是其他地方想要單純object detect 所以就得跑兩次model，出兩種結果

假設場景道路上的坑洞，用segmentation，但同時馬路上的道路標線，用object detect，也就是BBOX 不知道能否可以?

或者是說，我全部都用segmentation model，標線就用四個點框住，代替bbox? 是否會有好的結果?

謝謝

https://www.researchgate.net/publication/330383030_Real-time_Joint_Object_Detection_and_Semantic_Segmentation_Network_for_Automated_Driving 例如這篇文章，部分物件是用分割，部分物件採用object detect

[positive666]

@stphtan94117
1、你如果使用了YOLOV5的分割模型，那么默认是分割和检测两个HEAD都存在，你也可以自己写逻辑通过类别等一些条件去控制哪里显示或者不显示，但是默认结构同时进行了分割和检测的 2、 今天修复了一些更新的BUG

[stphtan94117]

@positive666 我不太懂你的意思，你的意思是如果用分割模型去訓練，然後用predict偵測，可以顯示BBOX跟polygon兩種情形?

例如我在labelme開啟交通路口影像，車子、紅綠燈、路燈等用bbox標註 馬路、道路標線、箭頭用不規則polygon標註 然後將這些標註好的圖像(JPG)和labelme(JSON)上傳至roboflow，然後下載成yolov5的格式(TXT) 將這些TXT檔丟下去分割模型訓練，然後預測時候，馬路那些正常會顯示segmentation polygon 而車子、紅綠燈等顯示BBOX

您的意思是這樣嗎?

[positive666]

@stphtan94117
你好 ！你的想法我不否定，这里我认为是三个路线，但是这里目前的训练代码中的数据集标注就不对称了，可能并不支持

1. YOLOV5的分割模型：检测和分割两个HEAD你可理解为解耦的，共享一个BACKBONE，你的需求大概是：你检测和分割的目标类别在一次任务中不完全对齐了，这样设计的话你的标签数据集部分可能要更改。 方法1后处理：如果只是在乎可视化的问题，你直接用实例分割的方式去训练，分割的模型会同时预测一个目标的BOX和MASK，然后后处理你加入逻辑判断去决定它是否可视化，这是最省事的方法 方法2：分别训练头部，你的骨干网络读取的图像的特征，所以你可以先设置你的检测任务类别，分别做一种你需要检测的数据集去训练检测的HEAD冻结分割头 ;同理设置你需要分割的类别，做一种你想分割的数据集，去训练分割头，最终你的模型的检测头和分割头他们的识别类别和对象并不一样 方法3：你的上述想法，不过你要把读取标签的代码，代码改动稍微大一些把，具体我没做过说个大概，希望对你有帮助，方法2和方法3的本质是一样的，只是操作上不一样。

2. 最重要的，我觉得你可以简单做一点点数据去试验下，至于标注的话，其余的可以参考下自动驾驶的一些多任务的网络。

[stphtan94117]

自己是新手，聽不太懂太專業術語，例如head等 我只是拿交通例子來說明比較淺顯易懂，實際上真正要執行得更為複雜

我的確是想在一次任務中，就同時完成分割跟物件偵測 但其實我不是要為了可視化，而是label速度 segmentation label 所花費的時間多很多 bbox label速度快不少

因此我原意是，重點的部分才用segmentation，其餘檢測物件單純用bbox即可 這樣才不需要花費太多時間專注於label polygon

[positive666]

自己是新手，聽不太懂太專業術語，例如head等 我只是拿交通例子來說明比較淺顯易懂，實際上真正要執行得更為複雜

我的確是想在一次任務中，就同時完成分割跟物件偵測 但其實我不是要為了可視化，而是label速度 segmentation label 所花費的時間多很多 bbox label速度快不少

因此我原意是，重點的部分才用segmentation，其餘檢測物件單純用bbox即可 這樣才不需要花費太多時間專注於label polygon

HEAD就是模型的最尾部，直接完成预测任务的部分（实例分割的head组成：检测模型的头部+分割的头部），你可以按照方法2做一次尝试，

[stphtan94117]

回報一下 目前卡在JSON2TXT問題 目前json裡面包含bbox and polygon 因此丟到roboflow讓他轉txt，結果不行 因此無法進行下一步training

[positive666]

回報一下 目前卡在JSON2TXT問題 目前json裡面包含bbox and polygon 因此丟到roboflow讓他轉txt，結果不行 因此無法進行下一步training

逻辑是两个任务标签是独立的

[stphtan94117]

看來只好等其他人設計成可以轉檔 而且可以吃bbox跟polygon 另外想問一下，yolov5跟yolov7的segmentation，哪種效果比較好啊?

[positive666]

看來只好等其他人設計成可以轉檔 而且可以吃bbox跟polygon 另外想問一下，yolov5跟yolov7的segmentation，哪種效果比較好啊? 1.你可以分开打标然后只训练对于的头部 2.我记得V7是参考V5 的，只是backbone不同

[github-actions[bot]]

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your contributions.