Add RNN & LSTM & bi-LSTM & CNN

[jihyeeon]

이유 : 기본 linear layer인 현재 classifier를 RNN이나 lstm과 같은 모델로 바꿔주면 시계열적 데이터인 자연어 데이터를 더 잘 이해할 것이다. 목표 : reader 모델의 성능 향상

[jihyeeon]

실험 기록

	RoBERTa base(epoch5)	RoBERTa + LSTM layer (epoch5)	RoBERTa + Bi-LSTM layer (epoch5)	RoBERTa + MLP layer (epoch5)	RoBERTa + CNN layer (epoch5)
submit EM	47.92	48.33
submit F1	59.50	59.32
local EM	65.833	67.083	64.583	65.833	62.91
local F1	74.153	74.499	73.181	74.408	70.70

[jihyeeon]

왜 local 과 public이 양상이 다를까..?

[jihyeeon]

Inference 과정에서의 오류

• AttributeError: type object 'Dataset' has no attribute 'from_pandas'
  • variable 과 이름이 중복되어 생기는 문제로 판단하고 variable name 전부 수정 및 dataset 직접 import 하여 사용
  • -> 임시 방편으로 해결

[jihyeeon]

실험 기록 (epoch 1)

	RoBERTa base(epoch1)	RoBERTa + LSTM layer (epoch1)	RoBERTa + Bi-LSTM layer (epoch1)	RoBERTa + MLP layer (epoch1)	RoBERTa + SDS-CNN layer (epoch1)
submit EM	56.25	52.50	X (lstm 과 유사한 양상)	52.5	53.33
submit F1	67.05	65.39	X (lstm 과 유사한 양상)	65.07	66.16
local EM	65.833	65	64.583	69.167	66.25
local F1	75.416	73.695	73.795	78.041	74.915

[jihyeeon]

Local 에서 가장 score 가 높았던 MLP model 은 submit score 가 그 만큼 따라가지 못하였고, 가장 추가 Layer 가 많은 SDS CNN Layer 가 Custom clf model 중에서는 submit score 가 가장 높았다.

그러나, 결과적으로 Base 모델의 score 를 뛰어넘지 못하였다. 원인 분석 필요.