fd873630
commented
1 year ago 저는 BPTT를 이해하기로는 긴 시퀀스에 Back propagation이 연속해서 발생되어 기울기 소실이 일어나는데 그걸 방지하기 위해서 일정 길이에서 끊어서 back propagation 하는걸로 알고 있었습니다.
아마 BPTT를 구현하지 않은걸로 알고 있습니다.
없어도 한국어 기준으로 잘 동작했었습니다.
파이토치에서 BPTT를 구현하려면 다음과 같이 구현해야 하는데 RNN-T loss도 다음과 같이 될지는 제가 실험을 하지 않아 확인이 불가능할 것 같습니다. (https://discuss.pytorch.org/t/correct-way-to-do-backpropagation-through-time/11701)
loss에서 reduction="sum" 은 기존의 CE loss 의 reduction과 같은 역할인것으로 알고 있습니다. 그래서 BPTT랑 reduction 이랑은 상관관계가 있는지 잘 모르겠습니다.
CE loss reduction 설명 - https://pytorch.org/docs/stable/generated/torch.nn.CrossEntropyLoss.html
추가적으로 제가 최근에 대회와 석사 졸업, 취업까지 같이 준비하고 있어 코드 수정과 자세한 설명을 드리지 못해 죄송합니다.
혹시 코드적으로 수정해야될 것이나 더욱 계선될 수 있으면 추가적으로 git으로 요청해주시면 검토후 업로드 진행하겠습니다.
제 코드에 관심가져주셔서 감사합니다.
정지호 드림
-----Original Message----- From: @.> To: @.>; Cc: @.***>; Sent: 2022-11-04 (금) 10:49:01 (GMT+09:00) Subject: [fd873630/RNN-Transducer] 안녕하세요 BPTT 질문드립니다! (Issue #4)
논문에서 얼핏 BPTT 사용해야된다고 봤던 것 같은데오,
제가 논문을 잘못 이해한걸까요? 아니면 구현체가 없는 것 같아서, 혹시 없어도 상관 없었던걸까요? warprnnt_loss에서 loss를 다 더하는 부분은 뭔가 reduction="sum"을 구현하시고자 이렇게 하신거 같은데... BPTT 너무 어렵습니다 ㅠㅠㅠㅠㅠㅠ — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.***>
YooSungHyun
논문에서 얼핏 BPTT 사용해야된다고 봤던 것 같은데오,
BPTT 너무 어렵습니다 ㅠㅠㅠㅠㅠㅠ
PS. 여기저기서 외국애들꺼까지 보면서 pytorch-lightning으로 구현중인데 먼가 컨트리뷰트 할만한게 있으면 해볼까 싶기도 하고 beam_search 건들여볼까 싶기도 하고 고민이네요....ㅎㅎ
그래도 google에서 검색하면 가장 상단에 나오는 프로젝트인데 뭔가 잘 가꿔지면 좋을 것같아서...