Repo의 train_data와 nsml 시스템의 train_data 동일 여부

naver / nlp-challenge

NLP Shared tasks (NER, SRL) using NSML

177 stars 68 forks source link

Open Kcrong opened 5 years ago

Kcrong commented 5 years ago

Repository 에 올라와 있는 train_data와 nsml 시스템에 올라와 있는 train_data 는 동일한가요?

Preprocessing 코드를 pickling 하고 그대로 nsml 시스템 상에서 infer 용으로 사용할 수 있을지 확신할 수 없어 문의드립니다.

eagle705 commented 5 years ago

저도 비슷하게 로컬에서 pickling 후에 성능이 떨어지는 결과를 얻었는데요. 답변이 궁금합니다.

Kcrong commented 5 years ago

더불어, nsml submit -t 로 실행했을때 나오는 output 은 dataset에서 랜덤하게 뽑힌 input에 대한 output인가요? 실행할 때마다 출력이 바뀌어서 여쭤봅니다.

nsml-admin commented 5 years ago

안녕하세요.

NER,SRL둘다 train_data와 nsml 시스템상에 올라간 데이터는 똑같습니다.

@Kcrong submit -t로 했을때 의 출력이라는게 제가 추측하기로는 모델에서 랜덤하게 inference를 하는것같습니다. 세션번호를 알려주시면 확인해보겠습니다.

랜덤하게 뽑힌 input은 아니고 테스트 데이터셋중 상위 10개의 라인입니다.

감사합니다.!