fd873630 / RNN-Transducer

RNN-Transducer for korean
38 stars 3 forks source link

loss가 대략 어느정도까지 떨어지면 잘되나요? #7

Closed YooSungHyun closed 1 year ago

YooSungHyun commented 1 year ago

1epoch 기준 train_loss 9~20 최종 3에폭정도 돌렸는데 50정도 떨어지는데 이정도면 학습 잘 되는걸까요?

image

RNNTLoss를 처음다뤄보다보니, loss scale이 감이 안잡히네요...ㅎㅎ (테스트 해보기에는 들어가는 데이터도 너무 커서 만들기도 애매하구요 ㅠㅠ)

fd873630 commented 1 year ago

오래전에 학습해서 정확한 기억이 없어 옛날 학습 log를 확인해 본 결과 train loss 5.5 val loss 4.4 정도입니다.

loss는 데이터 마다 다르고 하이퍼 파라미터, character로 하는지 초성 중성 종성으로 나눠하는지에 따라서 다릅니다.

참고만 부탁드립니다.

감사합니다.