EXP: Training with Synthetic data for fine-tuning

[KidsareBornStars]

Description

• ICDAR2019_Synthetic

  Details

• Korean(synko)가 대략 40000장, Latin(synen)이 대략 50000장
• 5로 나눠서 약 18000장을 한꺼번에 Concat하여 Train 시작

  Reference / Image

[KidsareBornStars]

중간 상황

train lossa가 굉장히 잘 수렴하는 추세로 보여 synthetic data에 대해 학습은 잘 하는 것으로 보인다. 그러나,

target dataset(test dataset)과 유사하다고 판단되는 upstage data에 대한 valid는 epoch이 늘어나도 수렴하지 않는 모습.

따라서 실험을 끊고, 두 가지의 실험을 진행해보기로 하였다.

1. 현재까지 실험한 것을 finetuning하는 형식으로 icdar19 데이터셋으로 train하여 upstage dataset을 valid

   • sweep 의 결과로 보았을 때 lr 2e-4 / batch 28 / optimizer adam 으로 하였을때 결과가 좋은 것으로 판단. 이에 finetuning하는 것이기에 lr 1e-4 / batch 32 / optimizer adam으로 실험 진행(먼저 시작, 현재 진행 중)

2. ICDAR 17 / ICDAR 19를 다 함께 train했던 model에 Synthetic Dataset으로 finetuning 하여 Upstage dataset을 valid(1번 이후에 바로 실험)

[KidsareBornStars]

• lr 1e-4 / batch 32 / optimizer adam으로 실험 진행(먼저 시작, 현재 진행 중) -> GPU한계 때문인지 실험이 제대로 진행되지 않았음 + 4 epoch에서 터졌는데 학습속도도 느린것 같다 (원래 데이터 18000개, continue한 데이터가 10000개정도라 절반정도 차이라 lr을 많이 떨어뜨리지 않아도 되지 않을까 생각이 듬
• 따라서 train batch 32, valid batch 64, lr 1e-4 에서, sweep에서 찾았던 train batch 28, valid batch 28, lr 2e-4로 진행해보고자 함
• 오늘 안에 최대한 많이 돌려서 11시 넘어서 제출하실 분 구해볼 예정

[quasar529]

template에 맞게 수정했어욥

[KidsareBornStars]

망한거

2. ICDAR 17 / ICDAR 19를 다 함께 train했던 model에 Synthetic Dataset으로 finetuning 하여 Upstage dataset을 valid(1번 이후에 바로 실험) -> 이건 망해버림

남은 시간 해야할 것

1. synth + (17korean+upstage) finetuning
2. (synth + icdar19) + (17korean+upstage) finetuning
3. pretrained + synth + (17korean+upstage) finetuning → (pretrained+synth가 너무 구려서 나중으로 미룸)

1번부터 진행중 (trainbatch 16 / validbatch 32 / lr 1e-4 / max epoch 20)

[KidsareBornStars]

남은 시간 해야할 것의 1번

남은 시간 해야할 것의 2번

(synth + icdar19) + (17korean+upstage) finetuning 진행중

결과

[KidsareBornStars]

보라색이 1번, 하늘색이 2번인데 loss가 더 낮아질 수 있지 않을까 해서 2번에서 30epochs 정도 더 continue 실험 진행(settings 유지)

원래보다 성능이 안나와서 중단!