jwkanggist / self-supervised-learning-narratives-1

거꾸로 읽는 self-supervised learning 파트 1
50 stars 7 forks source link

[2주차] DAC 코드 리뷰 #6

Open seyongk opened 2 years ago

seyongk commented 2 years ago

코드 링크를 공유 드립니다.

r 값을 None으로 처리하는 부분에 대해서 혹시 좋은 아이디어 있으시면 알려주시면 감사하겠습니다~!

구현 중인 코드

https://github.com/rest1h/self-supervised-learning-narratives-1/tree/main/week1_DAC

저자분 코드

https://github.com/vector-1127/DAC

참고한 깃헙

https://github.com/JiaxinZhuang/DAC.Pytorch https://github.com/graykode/DAC https://github.com/GuHongyang/DAC-pytorch/blob/master/main.py

유튜브 링크

https://youtu.be/Yp9GgiBKzts

sooahleex commented 2 years ago

저자 코드에서 Ybatch = (np.sign(np.dot(Y,Y.T)-th)+1)/2 부분이 혹시 논문에서 어느 부분에 해당하는지 알려주실 수 있으실까요?

seyongk commented 2 years ago

저자 코드에서 Ybatch = (np.sign(np.dot(Y,Y.T)-th)+1)/2 부분이 혹시 논문에서 어느 부분에 해당하는지 알려주실 수 있으실까요?

논문에 sine 함수 사용에 대해서 직접적으로 언급하는 부분은 없는 것 같아요. 제 생각에는 해당 코드 부분이 하는 역할은 코사인 유사도 값을 threshold 기준에 따라서 label feature를 구하는 부분인 것 같습니다. 데이터셋 별로 label feature를 구하는 방식이 다양해서 저도 많이 궁금했는데요, 저자분께 여쭤볼게요.

jwkanggist commented 2 years ago

제 생각에도 이부분은 th값에 따라서 clustering assignment를 하는 과정이라고 봅니다.

@sooahleex

sooahleex commented 2 years ago

@rest1h @jwkanggist 이해 했습니다! 두 분 모두 답변 감사드립니다 :)