[2022 spring] NeurIPS2020 CrossTransformers: spatially-aware few-shot transfer (20214418)

[kdhkdh9]

CrossTransformer 가 탄생한 배경을 예시를 통해 설명해 주셔서 이해하는 데 도움이 많이 되었습니다. 그리고 본문에서 수식 표현과 그림/도표를 적절히 배분해 주신 점도 좋았습니다. Conclusion 부분을 3줄 요약으로 작성해 주셔서 내용을 정리하는 데 도움이 되었습니다.

수정하실 만한 부분은 아래와 같습니다.

• 가독성을 위해 영어 표현은 가급적 한글로 바꾸어 주시는 것을 제안드립니다. (예 : develop하다 -> 개발하다, pattern -> 패턴, critical하다 -> 결정적이다)
• Experiment & Result 부분이 다소 불완전해 보이는데, 내용을 더 추가해 주셨으면 합니다. (특히 Result 부분의 도표에 대한 해석이 필요해 보입니다.)
• Reference & Additional Materials 부분에서도 불필요한 줄은 삭제해 주시면 좋을 것 같습니다.

[yu1012]

The reivew was very well-written with some working examples. I could understand almost all you explained. Thank you.

[drumpt]

CrossTransformer를 잘 소개해주셔서 감사합니다. Problem Definition의 도입 부분이 좋았던 것 같습니다. 몇 가지 피드백이 있는데요,

• Few-shot Learning에 대한 기본 개념을 좀 더 설명해주시면 감사할 것 같습니다. 특히 few-shot learning에서 support set, query set의 역할이 무엇인지 좀 더 설명해주시면 좋을 것 같습니다.
• 기존의 transformer와 비교했을 때 local feature가 어떻게 사용되었는지에 대한 이해가 잘 되지 않는 것 같은데, 이에 대한 추가 설명을 method부분에 추가해주실 수 있으실까요?
• Experimental setup 부분의 'Training setup' 부분이 빠져있는 것 같습니다.
• Result 그림이 너무 작아 이를 키우면 좋을 것 같습니다.
• '이 때, shared ConvNet 를 사용합니다' 뒤의 수식에서 HxWx3이 아니라 H \times W \times 3을 이용하면 곱하기 기호가 더 잘 표현될 것 같습니다.
• query는 Q'~ 로 구할 수 있습니다. 부분에서 markdown 문법상 randomsample 대신 random{sample}을 쓰는 것이 자연스러울 것 같습니다.
• 'Then, attention score'가 포함된 문장 제일 뒷 부분에 \gamma = \sqrt{d_k}로 쓰는 것이 자연스러울 것 같습니다.