파라미터 freeze 실험

[duckray]

실험 설명

현재까지 wandb에 올라온 실험결과 관측시 2~3에폭 이후로는 loss가 올라가는 양상이 보입니다. 너무 많은 파라미터를 학습시키다보니 오히려 과적합문제가 발생되는 것 같아 실험을 해보고자합니다.

과적합을 피하기 위해 파라미터수를 줄이고 학습 에폭을 늘렸을 때에 과적합 문제가 해결되는지 실험해보도록 하겠습니다..

[duckray]

파라미터를 프리즈하면 로쓰가 계속 내려가기는 하나, 언프리즈한 것에 비해 성능이 뒤떨어집니다.

[duckray]

언프리즈 한 상태로 2에폭을 학습시키고, 프리즈를 한 뒤 추가적으로 더 학습시켜보았습니다. 그래프와 표를 보면 알 수 있듯이 valid set에 대해서는 성능향상이 있는 것처럼 보입니다.

[duckray]

아래가 2unfreeze+20freeze, 위가 2unfreeze+50freeze

아래가 제출 결과를 보니, auprc는 유의미한 변화가 있는것 같고, f1 score에서는 아주 미세한 성능향상이 있는것 같습니다.

결론

파라미터 freezing을 통해 엄청난 성능향상을 이끌어낼 수는 없지만, 최후에 0.1의 성능을 끌어올리기 위해 사용할 수 있는 방법중 하나는 맞다고 생각이 듭니다.