미니배치 학습 구조 리팩토링

[krikit]

현재는 음절 단위로 배치 크기만큼 forward 및 backward를 진행하고 있습니다. 이를 RNN에서 흔히 사용하는 문장 단위로 변경하여, 하나의 배치에 여러 문장이 들어가도록 수정합니다.

이 과정에서 자체적으로 구현한 dataset 모듈을 torchtext 패키지로 전환합니다.

이를 통해, CRF(conditional random field) 모델 실험이 가능해질 전망이며, 더불어 transformer 모델 실험도 고려해 봅니다.

[Kyeongpil]

안녕하세요, 해당 이슈가 흥미로운 결과를 보여줄 것 같은데요, 혹시 CRF 및 transformer 모델을 적용하여 실험해 보셨나요? 그리고 khaiii 0.5는 언제쯤 release될 지 알 수 있을까요?

감사합니다.

[krikit]

@rudvlf0413

제가 이러한 계획을 말씀드리고 나서 상당한 시간이 흘러서 죄송하단 말씀을 먼저 드려야 겠네요. 전면적인 리팩토링이 진행되어야 할 건이고, 또 그렇게 하다가 생각만큼 잘 되지 않아 지금은 코드를 다시 고민하고 있습니다. 제가 너무 안일하게 생각했던 부분도 있고, 업무 외에 시간을 내야 하다 보니 개인적으로 좀 힘들었던 부분도 있었습니다. 어쨌든 너무 오래 둘 수는 없으니 좀만 더 기다려 주시길 부탁드립니다.

[Kyeongpil]

@krikit 네 답변 감사합니다!^^

[krikit]

torchtext를 이용하고 배치 단위를 여러 문장으로 변환하는 작업을 완료했습니다. CRF 실험을 진행하기 위해 feature/78 브랜치로부터 시작하고, develop 브랜치에 머지는 하지 않고 닫습니다.