[MJ] adadelta를 통해서 천억개의 파라미터 연산량을 어떻게 줄여주는것일까?

boost-devs / peer-session

🚀 부스트캠프 AI Tech 1기 U-Stage 4조 피어 세션 자료/질문 모음 (archived)

8 stars 2 forks source link

Closed opijae closed 3 years ago

opijae commented 3 years ago

adadelta는 G를 구할 때 합을 구하는 대신 지수평균을 구해 메모리와 연산량을 줄인다고 알고 있습니다. 어떻게 이 '지수 평균'을 통해 줄어드는지 궁금합니다.

jjerry-k commented 3 years ago

해당 부분 관련해선 도움이 될 만한 링크 올려드립니다!

RMSProp 부분부터 참고해보시면 좋을 것 같습니다!

jjerry-k commented 3 years ago

edwith 에 비슷한 질문이 들어왔네요! https://www.edwith.org/bcaitech1/forum/48830