NER baseline이 공개되었습니다.

kduk commented 5 years ago

안녕하세요. 네이버, 창원대가 함께하는 NLP Challenge 입니다.

두 개의 mission 중 개체명 인식(NER)의 베이스라인이 공개되었습니다. https://github.com/naver/nlp-challenge/tree/master/missions/ner 모델 구현과 submit에 참고 부탁드립니다!

그리고, 리더보드 페이지에서 전체 성능을 확인하실 수 있습니다. (일 1회 오후 8시에 업데이트 예정) http://air.changwon.ac.kr/?page_id=10

NER Model Baseline for NSML

NER baseline Model 구조

Bidirectional RNN + CRF
어절, 음절(RNN) Concat 하여 사용

Training Dataset

개체명 인식(NER)

Training

$ nsml run -d NER

Training

학습은 다음 명령행을 실행하여 시작할 수 있습니다.

$ nsml run -e main.py -d SRL

학습 중 다음 명령행을 실행하여 로그를 확인할 수 있습니다.

$ nsml logs -f [SESSIONNAME]

다음 명령행을 실행해 현재 수행중인 세션을 확인할 수 있습니다.

$ nsml ps

Submit

모델의 제출은 다음 명령행으로 실행할 수 있습니다.

$nsml submit [SESSIONNAME] [CHECKPOINT]

'CHECKPOINT'는 세션마다 기록됩니다. 다음 명령행으로 특정 세션의 checkpoint를 확인하실 수 있습니다.

$nsml model ls [SESSIONNAME]

다음과 같이 세션의 checkpoint들이 나타납니다.

Checkpoint    Last Modified    Elapsed    Summary                               Size
------------  ---------------  ---------  ------------------------------------  --------
0             seconds ago      2.523      step=0, train/loss=28.56278305053711  66.7 MB
1             just now         14.424     step=1, train/loss=19.05735492706299  66.84 MB
...

데이터 로더 Return 값 형식

각 문장별로 [ idx, ejeols, nemed_entitis ] ( idx는 1으로 시작 )

ex)[
['1', '2', '3', '4', '5', '6', '7', '8', '9', '10', '11', '12', '13', '14', '15'],
 ['-(해설)', '발목을', '삐끗하거나', '칼에', '살짝', '베인', '작은', '상처의', '통증도', '2개월', '이상', '계속되면', '만성통증으로', '발전한다', '.'],
 ['-', 'ANM_B', '-', '-', '-', '-', '-', '-', '-', 'DAT_B', 'DAT_I', '-', 'TRM_B', '-', '-']
]

최종 정답 태깅용 출력 형식

각 어절별로 모든 결과를 출력해야 합니다. ( 아래 예시 참조 )

없는 태그는 "-" 로 표시합니다.

ex)
[
 ['-', 'ANM_B', '-', '-', '-', '-', '-', '-', '-', 'DAT_B', 'DAT_I', '-', 'TRM_B', '-', '-'],
 [ ... ]
]

vanche commented 5 years ago

리더보드의 baseline성능이 재현되는 코드인가요?

kduk commented 5 years ago

@vanche 다시 한번 측정해보겠습니다.

kduk commented 5 years ago

@vanche initial parameter에 따라 성능이 달라지기는 합니다만, hyper parameter를 조절했을때, 87.9 정도의 성능을 재현할 수 있었습니다. NER 성능에 대해 baseline 성능이 꽤 높다고 느끼시는 분들이 많은 것 같아 baseline의 hyper parameter 공개를 검토해보겠습니다.

naver / nlp-challenge