shmpwk / jsk_2020_04_carry_dish

0 stars 0 forks source link

変換を施したdepth imageのnan値が多い. #10

Closed shmpwk closed 3 years ago

shmpwk commented 3 years ago

virtual camera monodepth image creatorを使って,depth imageをこのようにbounding boxのフレーム(/segmentation_decomposeroutput00)の真上から見たdepth imageに変換しています.

次の写真で左下のImageは,対象物を真上から見たdepth Imageに変換されたものです.

Screenshot from 2020-10-18 22-19-20

しかし,変換した後のdepth imageは,nan値ばかりです. おそらく,自分の予想では,depth image creatorがorganized point cloudに基づいてdepth imageを作っていて,このorganized point cloudは,organizeするためにarrayをnan値で埋めているので,depth imageもnanが多くなるのかなと思いました.

[再現実験] まず,次のdepth_dataフォルダを,~/Data/depth_dataとなるように配置します. depth_data.zip 次に,ホームディレクトリ上でpython PATH_TO_depth_pickle_load.pyを実行します. すると,depth imageを可視化することができます.このとき,nan値は0で埋めています. 例えば,出力されるdepth mapはこのようにnan値を埋めた0ばかりです.

[[[0.         0.         0.         ... 0.         0.         0.        ]
  [0.         0.         0.         ... 0.         0.         0.        ]
  [0.         0.33934605 0.         ... 0.         0.         0.        ]
  ...
  [0.         0.         0.         ... 0.         0.         0.        ]
  [0.         0.         0.         ... 0.         0.         0.        ]
  [0.         0.34285054 0.         ... 0.         0.         0.33531582]]]

出力されるdepth image写真の例:

上のdepth imageの写真は,大きさは違いますが切り取り方が違うだけです.

shmpwk commented 3 years ago

もともと点群が荒いので仕方がない.

HeightmapMorphologicalFilteringMorphologicalOperatorで,点・線を太くするなどする.