[펭귄] Adadelta 수식 - Githubissues

boost-devs / peer-session

🚀 부스트캠프 AI Tech 1기 U-Stage 4조 피어 세션 자료/질문 모음 (archived)

8 stars 2 forks source link

[펭귄] Adadelta 수식 #55

Closed CoodingPenguin closed 3 years ago

CoodingPenguin commented 3 years ago

🙌 질문자

펭귄 @CoodingPenguin

❓ 질문 내용

H_t는 difference squares의 지수이동평균이라고 하였는데, difference squares가 무엇이고 이 항의 용도는 무엇인가요?
여기서 t는 몇 번째 iteration인지를 뜻하나요?
Adadelta는 최근의 k개의 squared gradient를 누적시키는 방법이라고 들었는데, 이게 수식에 어느 부분에 반영이 되어있나요? 아니면 수식은 저렇고 구현할 때 반영시키나요?

📄 참고 자료

[DAY 12] Optimization

jjerry-k commented 3 years ago

difference 라는건 뒤에 델타 때문에 그렇게 적으신 것 같습니다! 참고자료!
네! iteration을 의미합니다!
G_t를 보시면 항상 (g_t)^2을 더하고 있죠!

CoodingPenguin commented 3 years ago

@jjerry-k 답변 감사드립니다!

참고자료를 바탕으로 내용을 정리해보자면 다음과 같습니다.

difference squares는 뒤의 △W_t 즉, weight의 차로 보면 됩니다.
squared gradient는 G_t에서 (g_t)^2을 말하는 것이며, 지수이동평균이 자료에서 언급된 accumulation window를 제한하는 역할을 한다고 합니다. 즉, 이전 그래디언트를 모두 보는 게 아니라 최근의 몇 개의 그래디언트만 반영합니다.
H_t는 가중치 변화율에 대한 정보로 learning rate의 역할을 합니다. 아래와 같이 weight가 업데이트 된 정도에 따라 H_t가 바뀌는 걸 볼 수 있습니다.
- 업데이트가 덜 된 경우: G_t가 작음 -> 변화하는 그래디언트가 큼 -> 업데이트 되는 weight가 큼 -> H_t가 큼
- 업데이트가 많이 된 경우: G_t가 큼 -> 변화하는 그래디언트가 작음 -> 업데이트 되는 weight가 작음 -> H_t가 작음