search

keris2020 / hackathon

10 stars 7 forks source link

생활폐기물 제출 어떤걸 해야 하나요? #71

Open MJ-u opened 4 years ago

MJ-u commented 4 years ago

SmartSelectImage_2020-11-09-19-35-41 영화평점은 loss가 낮은 값을 제출했었는데, 생활폐기물은 Elapsed라는 값이 나오던데 높은 값을 제출해야 하나요, 낮은 값을 제출해야 하나요?

taeseug commented 4 years ago

nsml logs -f sessio-id 하시멸 log 에 eval 값이 있습니다 이값을 기준으로 sumit 하시면 됩니다

MJ-u commented 4 years ago

@taeseug SmartSelectImage_2020-11-09-20-05-15 이렇게 뜨는 데 이 값중 가장 낮은 값을 제출하는 건가요..?

taeseug commented 4 years ago

세션 id 좀 보내주실 수 있나요 이경우 ai.nsml.navercorp.com에서 그래프 모양을 봐야 됩니다 거기서 loss 와 eval 그래프를 보고 최저의 값을 구해야 합니다

MJ-u commented 4 years ago

@taeseug KERIS041/recycle_challenge/7 입니다!!

junsukchoe commented 4 years ago

안녕하세요,

일반적으로 어떤 것을 제출해야 하는지에 대해서 정해진 rule은 없습니다. 하지만 보통은 @taeseug 님 말씀처럼 loss와 eval 그래프를 보고 제출 checkpoint를 결정하게 됩니다.

좀 더 자세히 말씀드리면, validation performance가 높고, loss가 낮은 checkpoint를 찾아내어 제출하시면 됩니다. 해당 checkpoint는 validation split에서 성능이 좋았으므로, testing split에서도 좋을 것이라고 기대할 수 있기 때문입니다.

따라서 보여주신 것에서는 47번째 checkpoint가 가장 성능이 좋으므로, nsml submit KERIS041/recycle_challenge/7 47 로 제출하시면 됩니다.

MJ-u commented 4 years ago

@junsukchoe @taeseug 감사합니다 !!!

rlawoons34 commented 4 years ago

안녕하세요,

일반적으로 어떤 것을 제출해야 하는지에 대해서 정해진 rule은 없습니다. 하지만 보통은 @taeseug 님 말씀처럼 loss와 eval 그래프를 보고 제출 checkpoint를 결정하게 됩니다.

좀 더 자세히 말씀드리면, validation performance가 높고, loss가 낮은 checkpoint를 찾아내어 제출하시면 됩니다. 해당 checkpoint는 validation split에서 성능이 좋았으므로, testing split에서도 좋을 것이라고 기대할 수 있기 때문입니다.

따라서 보여주신 것에서는 47번째 checkpoint가 가장 성능이 좋으므로, nsml submit KERIS041/recycle_challenge/7 47 로 제출하시면 됩니다.

당장 저 사진에서는 checkpoint40번이 validation performance가 0.218로 높은데,0.218보다 낮은 0.215를 제출하시라는 이유가,위 사진에는 나와있지 않는 loss값까지 고려하시어 47번을 제출하시라는 말씀이신가요?