[MJ] 딥러닝에서 최대가능도 추정법

[opijae]

🙌 질문자

• MJ@mj950425

---

❓ 질문 내용

• [AI Math 7강] 수업 자료중 p23 에 있는 식에 '딥러닝 모델의 가중치를 θ라 표시 했을 때 분류 문제에서 소프트맥스 벡터는 카테고리분포의 모수(p1,…, pK)를 모델링합니다' 라면서 아래의 식이 있습니다.

• 1. 여기서 말하는 p와 θ는 뭔가요? 위식에서 θ는 모수가 아닌가요?

• 2. 위 식은 교차엔트로피 오차에서 온식 같은데 그럼 왜 '-'가 빠졌나요?

📄 참고 자료

• 2번 교차엔트로피 참고 링크

---

[jjerry-k]

1. p 라는 것은 클래스별 확률로 보이고 θ는 위에 적혀있듯이 가중치입니다! 모수라고 하면 모집단의 특성, 모집단을 통해 분석한 최종 결과(?) 라고 해석할 수 있을 것 같은데요! 그렇다면 모집단 x 에 대해서 분석한 결과는 각 클래스별 확률 p 일테니 여기선 p가 위에 적혀있듯이 카테고리분포의 모수이겠네요!

2. 좌변이 update 된 θ 라서 -가 없어진 것으로 보입니다!

(모르고 회사 깃헙으로 글 썼다가 호다닥 지우고 다시 썼습니다...)

[mj950425]

카테고리분포의 모수의 크로스엔트로피 오차가 가장 적은 가중치로 armax한다라고 해석하면 될까요? armax가 벡터에서 가장 큰 원소하나만 뽑는다는 의미로 알고있었는데 가중치에서 가장 큰 가중치 하나만 뽑는다로 해석하니까 이상하네요 ㅠㅠ..

[Heeseok-Jeong]

1 번에서 표본 (관측) 집단을 통해 모수를 추정하는게 아니라 모집단을 통해 모수를 구하는건가요..??

[jjerry-k]

@mj950425 최대화하는 가중치를 뽑는다로 해석하시면 됩니다!

@Heeseok-Jeong "모집단을 통해 모수를 추정한다" 와 "모집단을 통해 모수를 구한다" 같은 말 아닌가요????

[Heeseok-Jeong]

음,, 저는 모집단을 통해 모수를 추정하는게 아니라 표본을 통해 모수를 추정한다고 알고 있었습니다 (혼란)

혹시 딥러닝에서 예를들어 100만개의 데이터로 학습을 한다면 이 데이터들은 표본이 아니라 모집단이 되는걸까요??

[jjerry-k]

굳이 표현을 하면 100만개의 데이터가 모집단이고 batch size 로 뽑은게 표본이 되지 않을까 싶네요! 왜냐하면 모집단은 "전체 집합"이고 표본은 "모집단의 부분 집합" 이니까요! 가령 100만개의 데이터라고 해도 batch size가 100만개면 표본 == 모집단 이겠죠?

[Heeseok-Jeong]

아 저는 이때까지,, 사진을 보고 어떤 동물인지 맞춰주는 모델을 만든다고 했을 때 학습에 쓰이는 100만장의 사진이 표본이고 세상에 존재하는 모든 동물 사진들이 모집단이라고 생각했었는데, 학습에 쓰이는 데이터가 모집단이었군요,, 감사합니다!!

[changwoomon]

와... batch size로 뽑은게 표본이 라는 말 보니까 확 와닿네요... 감사합니다!