[2022 spring] CVPR 2022 MM-TTA: Multi-Modal Test-Time Adaptation for 3D Semantic Segmentation (20213210)

[nooppi18]

좋은 리뷰 감사합니다. 읽으면서 몇 가지 궁금한 점들이 생겨서 질문 드립니다.

1. inter-PR 에서 hard selection 시, 두 모델 사이 consistency 가 높은 modality 를 취한다고 하는데, 두 모델은 fast model 와 slow model 인가요? 그래서 각 modality 별로 fast 와 slow model 의 consistency 를 구하고, 더 consistent 한 modality 를 선택하는건가요? 그렇다면, 두 모델의 consistency 를 기준으로 잡은 이유가 궁금합니다. 두 모델이 consistent 하지 않다면, 불안정한 모델로 여기는 건가요?
2. MM-TTA는 두 modality 간의 consistency 를 계산하지 못한다고 나와 있는데, 따로 penalty 를 주지 않아도 cross-modal consistency 가 보존되는 건가요? 아니면, 본 연구는 두 modality 중 더 consistent 한 modality 를 선택하기 때문에, cross-modal consistency 는 중요하지 않은건가요?
3. Baseline 모델에서 entropy, consistency, pseudo label 을 이용한 self-learning 모델이 각각 TENT, xMUDA, MM-TTA 라고 이해하면 될까요? 각 category 에 해당하는 baseline 모델이 무엇인지 헷갈립니다.

감사합니다

[hoknshin]

리뷰 감사합니다, 글을 통해 Test time adaptation이라는 새로운 연구분야를 알게 되었습니다. 실제 시나리오에 필요한 unseen data에 대한 practical한 방법으로 test time adaptation관련 연구가 진행되고 있고, 특히 multi modal 상황에서 다양한 센서 입력을 활용하는 방법으로 보입니다.

다양한 입력 센서 데이터의 fusion시, 입력 주기가 다르고 sync가 맞지 않는 부분들은 구체적으로 어떻게 처리되었는지 궁금합니다.

Typo

• Conclusion에서 "정제하주는"

흥미로운 내용의 논문 소개 감사합니다.

[pantheon5100]

Thank you for the well-organized review. It gives me a lot of insight. I think that is it possible to do the test-time adaptation even in the low-level tasks, such as super-resolution.

Everything in this reviw is good, thank you for the take-home message.