Closed presto105 closed 3 years ago
현재 까지 코드에 UNK token vocab에 더하는 작업을 추가했습니다. 또한 text pre-processing을 개별적으로 적용가능하게 하였습니다. 떄문에 argument naming이 바뀌었습니다. --preprocessing_flag => --preprocessing_cmb preprocessing_cmb는 띄어쓰기를 이용하여 0~3 index를 받아 리스트를 만들어줍니다.
--preprocessing_flag => --preprocessing_cmb
CLI running code는 아래와 같습니다. python train.py --PLM klue/roberta-large --preprocessing_cmb 0 1 2 3 --add_unk_token --entity_flag --mecab_flag python inference.py --PLM klue/roberta-large --preprocessing_cmb 0 1 2 3 --add_unk_token --entity_flag --mecab_flag
python train.py --PLM klue/roberta-large --preprocessing_cmb 0 1 2 3 --add_unk_token --entity_flag --mecab_flag
python inference.py --PLM klue/roberta-large --preprocessing_cmb 0 1 2 3 --add_unk_token --entity_flag --mecab_flag
text preprocessing의 성능비교는 돌려놓고 잠깐 외출했는데 중간에 에러가 발생하여 조금 늦어졌습니다. 내일까지 결과 공유드리겠습니다!
add_unk_token의 성능은 사용전(use_prepro_entity_mecab) f1 67.634에서 66.769로 떨어졌습니다.ㅜ
고생많으셨습니다! 확인했습니다!
sangHa0411
commented
3 years ago
현재 까지 코드에 UNK token vocab에 더하는 작업을 추가했습니다. 또한 text pre-processing을 개별적으로 적용가능하게 하였습니다. 떄문에 argument naming이 바뀌었습니다.
--preprocessing_flag => --preprocessing_cmbpreprocessing_cmb는 띄어쓰기를 이용하여 0~3 index를 받아 리스트를 만들어줍니다.CLI running code는 아래와 같습니다.
python train.py --PLM klue/roberta-large --preprocessing_cmb 0 1 2 3 --add_unk_token --entity_flag --mecab_flagpython inference.py --PLM klue/roberta-large --preprocessing_cmb 0 1 2 3 --add_unk_token --entity_flag --mecab_flagtext preprocessing의 성능비교는 돌려놓고 잠깐 외출했는데 중간에 에러가 발생하여 조금 늦어졌습니다. 내일까지 결과 공유드리겠습니다!
add_unk_token의 성능은 사용전(use_prepro_entity_mecab) f1 67.634에서 66.769로 떨어졌습니다.ㅜ