Closed jihyeeon closed 1 year ago
RoBERTa base(epoch5) | RoBERTa + LSTM layer (epoch5) | RoBERTa + Bi-LSTM layer (epoch5) | RoBERTa + MLP layer (epoch5) | RoBERTa + CNN layer (epoch5) | |
---|---|---|---|---|---|
submit EM | 47.92 | 48.33 | |||
submit F1 | 59.50 | 59.32 | |||
local EM | 65.833 | 67.083 | 64.583 | 65.833 | 62.91 |
local F1 | 74.153 | 74.499 | 73.181 | 74.408 | 70.70 |
왜 local 과 public이 양상이 다를까..?
RoBERTa base(epoch1) | RoBERTa + LSTM layer (epoch1) | RoBERTa + Bi-LSTM layer (epoch1) | RoBERTa + MLP layer (epoch1) | RoBERTa + SDS-CNN layer (epoch1) | |
---|---|---|---|---|---|
submit EM | 56.25 | 52.50 | X (lstm 과 유사한 양상) | 52.5 | 53.33 |
submit F1 | 67.05 | 65.39 | X (lstm 과 유사한 양상) | 65.07 | 66.16 |
local EM | 65.833 | 65 | 64.583 | 69.167 | 66.25 |
local F1 | 75.416 | 73.695 | 73.795 | 78.041 | 74.915 |
Local 에서 가장 score 가 높았던 MLP model 은 submit score 가 그 만큼 따라가지 못하였고, 가장 추가 Layer 가 많은 SDS CNN Layer 가 Custom clf model 중에서는 submit score 가 가장 높았다.
그러나, 결과적으로 Base 모델의 score 를 뛰어넘지 못하였다. 원인 분석 필요.
이유 : 기본 linear layer인 현재 classifier를 RNN이나 lstm과 같은 모델로 바꿔주면 시계열적 데이터인 자연어 데이터를 더 잘 이해할 것이다. 목표 : reader 모델의 성능 향상