eubinecto / k4ji_ai

4명의 김씨, 한명의 진씨, 한명의 임씨가 모여서 인공지능을 공부하고 있습니다.
13 stars 0 forks source link

Train에 관한 질문 #43

Closed dasoyou closed 8 months ago

dasoyou commented 8 months ago

좋은 자료 공개해 주셔서 감사합니다. 결국 Self Attention을 오차역전파로 학습이 가능하다고 설명해 주셨는데, 의도가 지도학습이 맞는 것이겠죠? 그렇다면 Self Attention의 오차역전파를 위한 Label과 Loss에 대한 이야기가 빠져있어서 그 부분에 대해서 한 수 배우고 싶습니다.

오차역전파를 위한 Label과 Loss는 어떻게 되는 것일까요? 감사합니다.