Conference : ICML 2021
Link : https://arxiv.org/pdf/2103.03230.pdfAuthors' Affiliation : FAIR, Yann LeCun
TL;DR : Barlow twin이라는 방법을 고안했는데 이 방법이 SimSiam, SimCLR, BYOL 등의 방법보다 좋다.
Summary :
cross-correlation matrix를 identity matrix와 최대한 비슷하게 만드는 방법.
이 loss 함수는 그 자체로 collapse를 하지 않기 때문에 stop gradient, momentum 등의 방법이 필요없다.
SimCLR처럼 large batch도 필요 없고 신기하게도 dimension을 키울수록 성능이 좋아진다.
Conference : ICML 2021 Link : https://arxiv.org/pdf/2103.03230.pdf Authors' Affiliation : FAIR, Yann LeCun TL;DR : Barlow twin이라는 방법을 고안했는데 이 방법이 SimSiam, SimCLR, BYOL 등의 방법보다 좋다.
Summary :
cross-correlation matrix를 identity matrix와 최대한 비슷하게 만드는 방법.
이 loss 함수는 그 자체로 collapse를 하지 않기 때문에 stop gradient, momentum 등의 방법이 필요없다.
SimCLR처럼 large batch도 필요 없고 신기하게도 dimension을 키울수록 성능이 좋아진다.