submit score 문제

[tae-ha]

submit --test 실행 시 에러가 없어서 submit 했는데 score가 0점으로 나와서 문의드립니다. 예측값에 문제가 있어 0점이 나올수도 있지만 몇가지 궁금한점이 있어 문의 남깁니다.

evaluation.py

if __name__ == '__main__':
    args = argparse.ArgumentParser()
    args.add_argument('--prediction', type=str, default='pred.txt')
    config = args.parse_args()
    testset_path = '/data/13_idet_car/test/test_label'

    try:
        print(evaluation_metrics(config.prediction, testset_path))
    except:
        print('0')

0) score를 계산할 때 baseline에 있는 evaluation.py가 반드시 필요한가요? 1) 위 evaluation.py의 코드 때문에 score가 0점으로 나올수 있는건가요? 2) 만약 그렇다면 저는 evaluation.py가 없이 run과 submit을 했고 File System을 보면 evaluation.py가 없는데 1)의 이유로 0점이 나올 수 있는건가요?

@bluebrush @nsml-admin

[tae-ha]

의심가는 여러부분을 수정해봐도 score가 0이 나오네요. 모델이 예측한 값을 출력해보면 bbox 크기가 커서 iou가 0일수는 없을거 같은데.. 원인을 모르겠습니다.

pred.txt 파일 위치가 잘못됐거나 bind_nsml() 내부의 infer()에 들어가는 inference function에 문제가 있는걸까요?? submit하면 에러도 출력이 안되고 submit --test는 정상적으로 잘 동작합니다.

원인이 무엇인지 알려주시면 감사하겠습니다.