Closed YooSungHyun closed 1 year ago
1epoch 기준 train_loss 9~20 최종 3에폭정도 돌렸는데 50정도 떨어지는데 이정도면 학습 잘 되는걸까요?
RNNTLoss를 처음다뤄보다보니, loss scale이 감이 안잡히네요...ㅎㅎ (테스트 해보기에는 들어가는 데이터도 너무 커서 만들기도 애매하구요 ㅠㅠ)
오래전에 학습해서 정확한 기억이 없어 옛날 학습 log를 확인해 본 결과 train loss 5.5 val loss 4.4 정도입니다.
loss는 데이터 마다 다르고 하이퍼 파라미터, character로 하는지 초성 중성 종성으로 나눠하는지에 따라서 다릅니다.
참고만 부탁드립니다.
감사합니다.
1epoch 기준 train_loss 9~20 최종 3에폭정도 돌렸는데 50정도 떨어지는데 이정도면 학습 잘 되는걸까요?
RNNTLoss를 처음다뤄보다보니, loss scale이 감이 안잡히네요...ㅎㅎ (테스트 해보기에는 들어가는 데이터도 너무 커서 만들기도 애매하구요 ㅠㅠ)