boostcampaitech2 / mrc-level2-nlp-04

mrc-level2-nlp-04 created by GitHub Classroom
4 stars 5 forks source link

[DRAFT] Encoder BiLSTM add #27

Closed whatchang closed 2 years ago

whatchang commented 2 years ago

Encoder BiLSTM을 추가하였습니다.

roberta-small과 커스텀 roberta-small만 비교를 하였습니다.

larges는 비교해주지 않은 이유는 다음과 같습니다.

  1. 희락님꺼 새로 git clone받으면서 이전 폴더에 있던 학습된 q_encoder, p_encoder를 삭제해서 다시 학습해야 되기 때문입니다.
  2. 학습 시간이 large도 엄청 걸리지만 custom large는 .... 정말 너무 오래 걸립니다.
  3. 이전 small과 custom small을 retrieval_test.py로 비교했을때 custom small이 압도적으로 낮아서 large도 그럴 것 같습니다.