Open sangmandu opened 2 years ago
predictions.json 결과가 매우 처참하다. 이쪽을 건드리면 이렇게 되는가 싶다. 아무리 eval 성능이 좋아도 prediction이 망한다.
크게 달라지는 점은 없다. 성능은 오히려 감소.
실제로 순위가 바뀐 결과가 3개의 데이터밖에 없다.
하지마
128 : 72.927
256 : 67.5
512 : 65.417
늘리지말자
목차
결과
1. output layer의 depth를 2, 3층 + drop out으로 쌓아보자
모델 스펙
다음은 Layer의 여러 종류를 나타냄
성능
결과
결론: 하지말자
2. max_seq_len을 줄이자
모델 스펙
결론
현재 길이가 제일 좋다.
3. augmentation 데이터를 현재 모델이 잘 맞추는 데이터로만 추가해보자
4. concat과 preprocess 의미가 있을까?
모델 스펙
결론
5. 후처리를 해보자 => 조사나 어미 제거
6. nbest에서 뽑은 똑같은 keyword에 대해 확률을 더해보자
결론
하지마
7. max_context_token을 사용해보자
8. 틀린 데이터는 pororo로 2배의 aug를!
9. 배치를 256, 512로 늘려!!!
128 : 72.927
256 : 67.5
512 : 65.417
결론
늘리지말자