[펭귄] 가능도함수의 모양

CoodingPenguin commented 3 years ago

🙌 질문자

펭귄 @CoodingPenguin

❓ 질문 내용

최대가능도 추정법에서 가능도함수를 정의하고 가능도함수를 모수에 대해 미분했을 때 0인 지점을 최대 즉, 극대값이라고 생각해 해당 모수를 추정하는 것으로 알고 있습니다. 근데 엠제이님이 남겨주신 질문을 곰곰히 생각해보니 가능도함수가 위로 볼록이라는 전제가 있어야할 것 같은데, 가능도 함수는 항상 위로 볼록할까요?

📄 참고 자료

엠제이님과 이야기 나눈 슬랙 쓰레드 내용입니다.

엠제이: 카테고리 분포의 최대 가능도 모수 추정에서 왜 미분 한 값이 0 이 될 때가 모수가 가장 커지는 걸까요? 정규분포 베르누이 카테고리 전부 미분 해서 0 이 될 때를 찾는 것 같은데 0 이 될 때 모수가 가장 크다는 것에 대한 증명이 안써있네요..
펭귄: 결론부터 말하자면 극점을 찾기 위해서 입니다! 미분을 했을 때 그 값이 0이 되는 지점은 극대/극소점이기 때문에, 가능도함수를 어떤 모수에 대해 미분을 했을 때 0이 될 때의 그 모수의 값이 가능도함수를 최대로 하는 모수이기 때문에 0이 될 때의 모수를 찾는 것입니다! 약간 횡설수설했는데 요약하자면 "가능도함수가 최대가 되는 모수 x를 찾아야한다.", "가능도함수를 모수 x로 미분을 했을 때 0이 되는 지점을 찾는다. = 가능도함수의 극대점을 찾는다.", "이 때의 모수 x가 우리가 추정하는 모수이다." 라고 생각하시면 될 것 같습니다!
엠제이: 우선 답변 감사합니다! 2가지 궁금증이 있는데
1. 극대 값이 최댓값을 보장할 수 있을까요?
2. 극소 값이 아니라 항상 위로 볼록해서 극대 값만 나올까요?
펭귄: 저도 미적분을 오랜만에 봐서 헷갈리네요..ㅠㅠ 일단 미적분학 책 피고 다시 봤는데 제가 이해한 바는 다음과 같습니다.
- 극대값은 최대를 보장할 수 있습니다. 극대값이라는 게 가장 큰 값이라는 의미라서. 참고로 제가 보는 책에서의 극대/극소값은 모두 local입니다. 또한, 미분=0일 때 극대/극소가 될 수 있는 후보군(critical point)라고 합니다. 이게 극대값/극소값이라고 하려면은 해당지점을 기준으로 부호가 바뀌어야합니다.
- 저도 이 부분이 참 궁금한게 극대값이 나오려면 항상 가능도함수가 위로 볼록이다라는 이야기가 있어야할텐데.. 그러니까 미분=0일 때 극대값이다라는 이야기가 나올텐데 이 부분은 피어세션 때 같이 이야기 해보면 좋을 것 같습니다.

opijae commented 3 years ago

피어세션에서 이야기한 후 [AI Math 7강]에 있는 further question 3번코드를 구현해 보았는데 이상형 함수의 가능도 함수가 아래와 같이 나온걸 봐서 "이산형이든 연속형 함수든 상관없이 가능도 함수를 그리면 아래 그래프 처럼 위로 볼록한 형태의 그래프가 나올 것이다." 라고 추측했습니다.

저희 추측이 맞나요? @jjerry-k

changwoomon commented 3 years ago

울프람알파에 gamma function도 있길래 한번씩 그려보고있는데 전부 위로 볼록이네요... 신기해라

CoodingPenguin commented 3 years ago

울프람알파에 gamma function도 있길래 한번씩 그려보고있는데 전부 위로 볼록이네요... 신기해라

오오.. 신기하네요ㅋㅋㅋㅋ

mj950425 commented 3 years ago

울프람알파 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 우와 근데 신기하네요 진짜... 머지?!

opijae commented 3 years ago

울프람알파에 gamma function도 있길래 한번씩 그려보고있는데 전부 위로 볼록이네요... 신기해라

이걸 그려보시네...

mj950425 commented 3 years ago

그니까요 ㅋㅋㅋㅋ

changwoomon commented 3 years ago

왜요 ㅋㅋㅋㅋㅋ ㅠㅠㅠㅠ 울프람알파 좋은데 힝

jjerry-k commented 3 years ago

꼭 그렇진 않습니다.!

예시와 같이 볼록한 함수일 경우는 매~우 이상적인 경우입니다.

모든 상황이 볼록하지는 않습니다.

마치 처음에 Gradient descent 공부할때 y=x^2 같은 모양의 그래프를 예로 드는 것과 비슷한 상황입니다.

CoodingPenguin commented 3 years ago

@jjerry-k 모수에 대한 미분=0인 지점에서 가능도함수가 항상 극댓값을 갖는다는 보장이 있나요? 이 부분이 궁금합니다!

jjerry-k commented 3 years ago

너무 답변이 늦었지만.... 보장할 수 없습니다! (슬랙으로 토론했던 것 같네요!)

슬랙에 MJ님이 올려주신 이미지 추가!

CoodingPenguin commented 3 years ago

@jjerry-k 감사합니다!

📌 결론

미분=0은 극대값을 보장하지 않는다.
최대가능도 추정법에서 미분=0이 극댓값이 나오는 경우도 있고 안 나오는 경우도 있다.
- 나오면 미분=0인 지점을 찾으면 되고
- 안 나오면 위의 스크린샷처럼 Hessian 행렬을 구해 극대/극소 판정을 한다.

boost-devs / peer-session