[펭귄] pre-training task에서 the time의 의미 - Githubissues

boost-devs / peer-session

🚀 부스트캠프 AI Tech 1기 U-Stage 4조 피어 세션 자료/질문 모음 (archived)

8 stars 2 forks source link

[펭귄] pre-training task에서 the time의 의미 #79

Closed CoodingPenguin closed 3 years ago

CoodingPenguin commented 3 years ago

🙌 질문자

펭귄 @CoodingPenguin

❓ 질문 내용

DAY 20의 PPT에서 time은 학습 전체를 의미하나요?

📄 참고 자료

[DAY 20] Self-supervised Pre-training Models p.12

CoodingPenguin commented 3 years ago

the time은 한 time step을 말한다. 즉, 특정 time step에 들어온 입력의 15%를 다 [MASK]를 씌운지 않는다는 의미한다.