loss와score 관계

[JungYeongHun]

nsml model ls session_id 하시면 nsml 에 저장된 모델을 확인 할 수 있습니다.

화면에 나온 모델중 가장 잘된 것을 골라

nsml submit session_id checkpoint 하시면 됩니다.

checkpoint 0번 loss가 가장 큰 값인데, 왜 submit을 0으로 하신거죠? loss가 작을수록 잘된 것이 아닌가요?

[taeseug]

이건 단순히 어떻게 model 확인하고 submit 하는지를 지를 보여주기 위해 예시로 급하게 만들어 화면 캡쳐한 것으로 단순 예시입니다 말씀하신대로 loss 가 작을 수록 좋은 모델입니다.

[rlawoons34]

이건 단순히 어떻게 model 확인하고 submit 하는지를 지를 보여주기 위해 예시로 급하게 만들어 화면 캡쳐한 것으로 단순 예시입니다 말씀하신대로 loss 가 작을 수록 좋은 모델입니다.

저 loss 값이 작을수록 좋은 모델이라고 하셔서 질문드립니다. 저가 hyperparameter을 조정하여 더 낮은 loss값을 갖는 모델을 만들었음(학습시켰음)에도 불구하고,오히려 loss값이 더 높은 모델이 score점수를 더많이 받는 경우가 생기더라고요 무조건 loss값이 낮다고 하더라도 점수를 많이 받는것이 아닌, 다른 부수적 요인이 있는것이지 궁금합니다.아니면 같은 hyperparmeter설정을 가진 모델일경우에만 loss값이 낮을수록 score가 더 높은,즉 더 좋은 모델인건가요? 저가 loss값이 더 낮은데 scroe가 더 낮은 예시를 든경우는 서로 다른 hyperparameter값을 조정한 모델입니다

[okgosu]

loss 값으로 학습률이 적절히 잘 설정 되었는지 학습이 잘 되었는지를 판단할 수 있고요. 이와 함께 정확도도 같이 봐주셔야 합니다.

아래 블로그 포스팅에 하이퍼파라미터 찾는 방법에 대해 잘 정리되어 있으니 정독해보시기 바랍니다.

https://de-novo.org/2018/04/19/%EC%9D%B8%EA%B3%B5%EC%8B%A0%EA%B2%BD%EB%A7%9D-%EC%9D%B4%ED%95%B4%ED%95%98%EA%B8%B0-3-%ED%95%99%EC%8A%B5%EC%97%90%EB%8A%94-%EC%99%95%EB%8F%84%EA%B0%80-%EC%97%86%EB%8B%A4/

[rlawoons34]

아래 블로그 포스팅에 하이퍼파라미터 찾는 방법에 대해 잘 정리되어 있으니 정독해보시기 바랍

감사합니다! 아마 small 데이터셋은 양이 별로 없어서 과적합 되서 그런거 같네요.큰 기존 데이터로 하니 확실히 점수가 많이 올라가더군요.