Kiva pod pose estimation

[knorth55]

I'm trying to use ppf matching with pcl. http://docs.opencv.org/3.0-beta/modules/surface_matching/doc/surface_matching.html

[knorth55]

also we can use this ppf matching for objects pose estimation.

[k-okada]

this is another idea if ppf does not work well, for me ppf seems too much for this target and afraid that works very well on complex shape like dinosaur but nor working well on simple shape like box. this problem is to find x-y-theta location of the pod, so if we can measure ONE horizontal edge of the pod , we can determine the position of the pod. So for example if we have a robot with force/tactile sensor, we can touch two point of the pod to find the location I think Mitsubishi is thinking about this approach -> http://archives.simplelists.com/pickingchallenge2016/msg/3726231 and we also used this approach for old HRP2 demo, to determin the poisition of the table.

◉ Kei Okada

On Thu, May 12, 2016 at 3:26 AM, Shingo Kitagawa notifications@github.com wrote:

also we can use this ppf matching for objects pose estimation.

— You are receiving this because you are subscribed to this thread. Reply to this email directly or view it on GitHub https://github.com/start-jsk/jsk_apc/issues/1438#issuecomment-218547146

[knorth55]

i thought the same idea for kiva pod pose estimation, and i want to use force/tactile sensor for the calibration.

[k-okada]

if we, we need to check the accuracy of the encoder value, we choose this approach on HRP2 because we know the good accuracy of encoder value.

◉ Kei Okada

On Fri, May 13, 2016 at 5:18 PM, Shingo Kitagawa notifications@github.com wrote:

i thought the same idea for kiva pod pose estimation, and i want to use force/tactile sensor for the calibration.

— You are receiving this because you commented. Reply to this email directly or view it on GitHub https://github.com/start-jsk/jsk_apc/issues/1438#issuecomment-218980401

[knorth55]

I will ask someone working on HRP2 to get detailed information. thank you

[knorth55]

@k-okada PassThroughとOrganizedMultiPlaneSegmentationをおこなってみましたが複数平面がいろいろな方向に検出されてしまいました https://drive.google.com/file/d/0B5DV6gwLHtyJTnhiZHRuVWUzLXc/view?usp=sharing

[k-okada]

OrganizedMultiPlaneSegmentation のパラメータはなにがあるかな．

◉ Kei Okada

[knorth55]

distance_thresholdを大きくすれば穴があっても平面になるかと思ったのですがそうでもなかったです。 max_curvatureも大きくしてできるだけ平面をとっています パラメータは色々な値があるので色々調整してみたのですが僕のやるかぎりでは1つの平面としては認識してくれませんでした。

http://jsk-docs.readthedocs.io/en/latest/jsk_recognition/doc/jsk_pcl_ros/nodes/organized_multi_plane_segmentation.html https://github.com/knorth55/jsk_apc/blob/51a78bd19fc18905cb5343d5baa0b87ebd40dfbd/jsk_2016_01_baxter_apc/launch/kiva_pod_estimation.launch

[k-okada]

あ，normal を esitimate しているものだと normal が出ないからダメだと思う． sac segmentation だったらいけないものか． http://pointclouds.org/documentation/tutorials/planar_segmentation.php

◉ Kei Okada

On Mon, Jun 20, 2016 at 9:07 PM, Shingo Kitagawa notifications@github.com wrote:

distance_thresholdを大きくすれば穴があっても平面になるかと思ったのですがそうでもなかったです。 max_curvatureも大きくしてできるだけ平面をとっています パラメータは色々な値があるので色々調整してみたのですが僕のやるかぎりでは1つの平面としては認識してくれませんでした。

http://jsk-docs.readthedocs.io/en/latest/jsk_recognition/doc/jsk_pcl_ros/nodes/organized_multi_plane_segmentation.html

https://github.com/knorth55/jsk_apc/blob/51a78bd19fc18905cb5343d5baa0b87ebd40dfbd/jsk_2016_01_baxter_apc/launch/kiva_pod_estimation.launch

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub https://github.com/start-jsk/jsk_apc/issues/1438#issuecomment-227124411, or mute the thread https://github.com/notifications/unsubscribe/AAeG3PZ0kETDkfNPW0IB9J9SOYjRAXM6ks5qNoKQgaJpZM4IcWu4 .

[knorth55]

ありがとうございます、試してみます

[knorth55]

ためしてみました。

https://drive.google.com/file/d/0B5DV6gwLHtyJSm5xOUhCUUdWa3c/view?usp=sharing

[knorth55]

SAC Segmentationをおこなっても平面だけをだすことはできなかったのですが棚の前面だけは取り出せたのかなと思っているのですがどうでしょうか

[k-okada]

この結果はどう見たらいいのかな？ 平面の式見たいなのはstdoutなどにでていないかな

◉ Kei Okada

2016/06/20 23:47、Shingo Kitagawa notifications@github.com のメッセージ:

SAC Segmentationをおこなっても平面だけをだすことはできなかったのですが棚の全面だけは取り出せたのかなと思っているのですがどうでしょうか

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or mute the thread.

[knorth55]

この結果はsac segmentationが出しているoutput/inliersです 上がSAC segmentation前で、下が処理後の点群になります。 平面にするために間引いてくれている感じがします

SAC segmentationが結果として出しているpcl_msgs/ModelCoefficientsは下になります。

% rp echo /kiva_sac_segmentation/model -n1
header:
  seq: 260
  stamp:
    secs: 1466435020
    nsecs: 596236000
  frame_id: kinect2_torso_rgb_optical_frame
values: [0.05378835275769234, -0.028681518509984016, 0.9981403350830078, -0.8114551305770874]
---

[k-okada]

入力をグレー、出力をflat colorで確認しましょう

狙っているのは棚の前面のピターっと出力張り付いている状態です。なの本当はransacで評価するとモデルの平面から+方向と-方向で評価を変えるのがベストになるんじゃないかな

2016年6月21日火曜日、Shingo Kitagawanotifications@github.comさんは書きました:

この結果はsac segmentationが出しているoutput/inliersです 上がSAC segmentation前で、下が処理後の点群になります。 平面にするために間引いてくれている感じがします [image: kiva_voxel_color] https://cloud.githubusercontent.com/assets/9300063/16199142/734760be-3743-11e6-8953-599654ca5660.png [image: kiva_plane_color] https://cloud.githubusercontent.com/assets/9300063/16199143/73484e3e-3743-11e6-9ba9-0553cfa38ed0.png

SAC segmentationが結果として出しているpcl_msgs/ModelCoefficientsは下になります。

% rp echo /kiva_sac_segmentation/model -n1 header: seq: 260 stamp: secs: 1466435020 nsecs: 596236000 frame_id: kinect2_torso_rgb_optical_frame

values: [0.05378835275769234, -0.028681518509984016, 0.9981403350830078, -0.8114551305770874]

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub https://github.com/start-jsk/jsk_apc/issues/1438#issuecomment-227169960, or mute the thread https://github.com/notifications/unsubscribe/AAeG3I5vOI0X61Lxcls5tp7kzZr3cezMks5qNqxEgaJpZM4IcWu4 .

◉ Kei Okada

[knorth55]

やってみました 前面に貼り付いている感じでうまく取れているようです

[knorth55]

[knorth55]

あとはModelCoefficientsでkiva_podの回転がとれているので位置を推定する（？）

[knorth55]

[knorth55]

[knorth55]

temporary closed