[DAY 20] Self-supervised Pre-training Models - Githubissues

boost-devs / peer-session

🚀 부스트캠프 AI Tech 1기 U-Stage 4조 피어 세션 자료/질문 모음 (archived)

8 stars 2 forks source link

[DAY 20] Self-supervised Pre-training Models #82

Closed CoodingPenguin closed 3 years ago

CoodingPenguin commented 3 years ago

❓질문

후미

[DAY 19] Transformer PPT p.8에서 key와 query의 개수가 다른 이유 #78
- 여기를 참고했을 때 다음과 같은 부분을 찾을 수 있습니다. 그래서 저 예시는 디코더의 인코더-디코더 Attention이어서 크기가 다른 것이 아닌가 생각했습니다.

인코더의 셀프 어텐션 : Query = Key = Value
디코더의 마스크드 셀프 어텐션 : Query = Key = Value
디코더의 인코더-디코더 어텐션 : Query : 디코더 벡터 / Key = Value : 인코더 벡터

펭귄

[DAY 20] Self-supervised Pre-training Models p.12에서 the time이 의미하는 것이 무엇인지? #79
- the time은 한 time step을 말한다. 즉, 특정 time step에 들어온 입력의 15%를 다 [MASK]를 씌운지 않는다는 의미.

펭귄 MJ

BERT내 Transformer 구조는 어떻게 되며, 어떤 입출력을 내고, 어떤 부분에서 self-supervised learning이 이루어지는 것일까? #80

Further Questions

BERT의 Masked Language Model의 단점은 무엇이 있을까요? 사람이 실제로 언어를 배우는 방식과의 차이를 생각해보며 떠올려봅시다.
- https://github.com/boostcamp-ai-tech-4/peer-session/issues/81

🙌 이야기

서폿: 같이 할 수 있는 무언가가 있으면 좋겠다.
- 예를 들면, 캐글 스터디나 논문 리뷰, 캐글 필사 등
- 다른 조들은 어떻게 할지 궁금하다
다음 주 TED세미나는 MJ, 후미님!

changwoomon commented 3 years ago

감사합니다...ㅎㅎ