SSDの検出結果からBoundingBoxをだす

Kanazawanaoaki commented 4 years ago

https://github.com/jsk-ros-pkg/jsk_recognition/pull/2511 を使ってRectArray -> ClusterPointIndicesの変換をしてその出力をhttps://github.com/jsk-ros-pkg/jsk_recognition/blob/master/jsk_pcl_ros/sample/tabletop_object_detector.launch のeuclidean clusteringの部分を置き換える。

https://github.com/Kanazawanaoaki/cook_eyes/commit/aaf54ab3d04aebd637091a0477123d7cee534e1f#diff-363e68923b115984009fddf2cdcfe078 を作って試して見ましたが、上手くバウンディングボックスが出ませんでした。
Screenshot from 2020-06-10 14-31-38

実行しているのは、

roslaunch kitchen_recognition tabletop_test_ssd_vegs.launch

roslaunch kitchen_recognition depth2ptcloud.launch gui:=false

https://github.com/Kanazawanaoaki/cook_eyes_coral/tree/master/curry_detector_ros のCoral TPUのSSDのlaunchを走らせる

roslaunch curry_detector_ros edgetpu_vegs_detector.launch INPUT_IMAGE:=/camera/rgb/image_raw

https://drive.google.com/file/d/1PVW_1rERg6YojUP5fFfc3UdM2Mx2U2s3/view?usp=sharing のrosbagを再生する。

rosbag play vegs_test.bag -l

Kanazawanaoaki commented 4 years ago

 rostopic echo /camera/rgb/image_raw | grep header -A 10
header: 
  seq: 1242
  stamp: 
    secs: 1591455782
    nsecs:  22477142
  frame_id: "camera_rgb_optical_frame"
height: 480
width: 640
encoding: "rgb8"
is_bigendian: 0
step: 1920

なので、パラメータもあっているはずだと思いますし、 (https://github.com/jsk-ros-pkg/jsk_recognition/blob/master/jsk_pcl_ros/sample/tabletop_object_detector.launch )を使った時に出てくるClusterPointIndicesと値を比べてみても同じ部分を出している気もします。
https://gist.github.com/Kanazawanaoaki/39b62a6fd89d1994e032e8cd67bb393c Screenshot from 2020-06-08 16-38-11

knorth55 commented 4 years ago

このレポジトリのcloneがめちゃくちゃ重いですね。もともとでかいデータを置いていたのが、こうなっている原因ですねここらへん使ってでかいファイルデータ消せばいいかな https://rtyley.github.io/bfg-repo-cleaner/

そして色々の問題の前に、同じ名前のパッケージがあってワークスペースがおかしいですね。このcook_eyes_coralとcook_eyesは統合すればよくない？

RuntimeError: Multiple packages found with the same name "73b2_kitchen":
- cook_eyes/73b2_kitchen
- cook_eyes_coral/73b2_kitchen

そして１発で試せるlaunchを作ってくれていると簡単でうれしいです。

Kanazawanaoaki commented 4 years ago

このレポジトリのcloneがめちゃくちゃ重いですね。

そうなんですね。試して見ます！

このcook_eyes_coralとcook_eyesは統合すればよくない？

Coralを使う部分はcoral用のwsに入れていて分けていたのですが、launchで呼びたしたりする分にはわけなくても大丈夫なのでしょうか？

一発で試せるlaunchも作って見ます！

knorth55 commented 4 years ago

Coralを使う部分はcoral用のwsに入れていて分けていたのですが、launchで呼びたしたりする分にはわけなくても大丈夫なのでしょうか？

そういうことか launchするだけならcoralのworkspaceをソースしていればいいだけだと思います

Kanazawanaoaki commented 4 years ago

なかなかBFGが終わらないのでgit上にあげていないのですが、 rosbagファイルを取得

roscd kitchen_recognition/rosbag/
gdown https://drive.google.com/uc?id=1PVW_1rERg6YojUP5fFfc3UdM2Mx2U2s3

このリポジトリのwsで

roscd kitchen_recognition/launch/
wget https://gist.githubusercontent.com/Kanazawanaoaki/de6353c0e7ebc5045a37dc0dea126d53/raw/b11b9090348bc3d2a95db172941708ae6c07562c/ssd_test.launch
wget https://gist.githubusercontent.com/Kanazawanaoaki/de6353c0e7ebc5045a37dc0dea126d53/raw/b11b9090348bc3d2a95db172941708ae6c07562c/coral_test.launch
roslaunch ssd_test.launch

別のターミナルでcoral_wsをsourceして

roslaunch coral_test.launch

で実行出来るようになっていると思います。
おそらく２つのワークスペースをソースとかって出来ないですよね？

knorth55 commented 4 years ago

もうちょっと長いROSBAGありますか？数分くらいのやつ、それで試してみたいです。

Kanazawanaoaki commented 4 years ago

すみません。探して観ましたが、数分の長いrosbagはありませんでした。
今度なるべく揺れないようにして長いrosbagを取ってみようと思います。

Kanazawanaoaki commented 4 years ago

https://github.com/Kanazawanaoaki/cook_eyes/pull/7 でrosbagに対してもバウンディングボックスが出せるようになりましたし、 Screenshot from 2020-06-15 19-43-14
机の上のパソコンに対してもボックスが出せるようになりました。 Screenshot from 2020-06-15 22-19-07

ありがとうございます！

Kanazawanaoaki / cook_eyes

SSDの検出結果からBoundingBoxをだす #6