search

changh95 / blog_comments

0 stars 0 forks source link

20230329-rosinol-2021-kimera-3d-dgs/ #30

Open utterances-bot opened 1 year ago

utterances-bot commented 1 year ago

Rosinol 2021 - Kimera - from SLAM to Spatial Perception with 3D Dynamic Scene Graphs 논문 리뷰 | cv-learn

Kimera 및 3D Dynamic Scene Graphs 논문을 리뷰합니다.

https://changh95.github.io/20230329-rosinol-2021-kimera-3d-dgs/

hyeonmin11 commented 1 year ago

안녕하세요 개인적으로 정말 충격적인 논문인데 리뷰해주셔서 감사합니다. 근데 궁금한 부분이 있는데 Kimera-Objects, Humans, buildparser 이런건 어디서 확인할 수 있는 것인가요? 다른 건 깃허브에서 모두 찾을 수 있었는데 해당 세 개는 여기말고 어디서도 찾지 못하겠어서요.

changh95 commented 1 year ago

@hyeonmin11 Objects는 spark lab 그룹 페이지에 TEASER++ 레포가 따로 있습니다. Humans 는 논문에서 이야기한 것 처럼 사실 human pose estimation 코드를 그대로 가져온거구요. BuildParser는 코드가 따로 공개되지 않았지만, 최근 나온 Hydra의 코드를 보면 내부에 있는거로 알고 있습니다.

hyeonmin11 commented 1 year ago

감사합니다. 근데 리뷰 중에 한 가지 이해 안가는 부분이 있습니다. Kimera-DSG는 Kimera-core 종료된 후, Kimera-core가 생성한 3D metric-semantic mesh로부터 비-실시간으로 DSG를 생성한다. 라고 쓰셨는데 논문에 보면 (c) tracks dense mesh models of human agents in real time 이라고 써져있는 걸 확인할 수 있습니다. 혹시 제가 놓친 것이 있는 것일까요? 해당 논문에서 Kimera-humans는 real time으로 실행되는 거 아닌지 궁금합니다.

changh95 commented 1 year ago

@hyeonmin11 Kimera humans는 조금 다른 것 같아요. 동적 물체는 3D metric-semantic mesh를 생성할 때 다 outlier로 걸러져서 mesh에 존재하지 않을겁니다. 그래서 3D metric-semantic mesh로부터 사람을 추출할 수 없을거에요. 뇌피셜이지만, 이미지에서 따로 3D human mesh를 검출해서 새로 얹어줄거에요.

changh95 commented 1 year ago

@hyeonmin11 저도 사실 왜 Kimera-humans가 real-time에 dense human model을 트랙킹 한다고 하는데 Kimera-DSG에 들어가있는지 잘 모르겠습니다 @.@...

hyeonmin11 commented 1 year ago

ㅠㅠ 감사합니다.. kimera가 계속 update 중이어서 그런진 모르겠지만 이해가 안 가는 부분이 조금 있네요.. 오늘 kimera semantics로 uhumans2 rosbag 파일 실행시켜봤는데 rviz에서 human semantic mesh가 출력되더라고요.. 뭐지 싶어서 뒤적여봤는데, tesse_multiscene_office2_segmentation_mapping.csv 에 보면 smpl_female, smpl_male이 매핑되어있는걸 확인할 수 있었습니다. 또 kimera-semantics issue 페이지보면 'Add dynamic semantic label to avoid integrating the depth' 라고 써져있던데.. 그러면 지금 kimera-semantics에서 사람도 세그먼트한다고 보면 되는거려나요..? 제가 kimera 관련해서 여쭤볼 창구가 여기밖에 없어서 신세 좀 졌습니다 ㅠㅠ