Setup

[junbeomlee]

gitignore 설정 test mode 시 decoder_state init 에러 처리 Readme 에서 chat -> chat.py수정

[DongjunLee]

제가 BeamSearch를 적용하면서 학습에 사용되는 Decoder에 decoder_state를 init 하는 부분을 빼먹었었군요. 수정 감사합니다^^

[junbeomlee]

아직 test config 부분만 beam 설정이 보이는데 혹시 train에 beam을 적용해서 해보셨나요?!? 성능이 더 좋아졌는지 궁금합니다.

[DongjunLee]

제가 알기로는 Beam Search 는 inference 쪽에 적용해서 성능을 올리는데 사용됩니다. 학습에 BeamSearch가 사용되지는 않을 거에요. 제가 잘못 알고 있는 것이라면 코멘트를 남겨주세요 ㅎㅎ

그리고 추가로 필요한 작업이 있는데, 완성된 문장에 대해서 평가로 사용할 Metric 을 조사한다음 작업하려고 합니다.

[junbeomlee]

앗 train할 때가 아니라 train data셋에 적용했을 때를 물어본거였습니다! 그러니까 cornel data set에 적용 했을때 입니다! 제가 컴퓨팅 자원이 없어서 아직 cornel쪽으로 학습이 완료 되지 않아서 ㅠ check tiny만 해봐서 ㅠㅠ beam 적용 전 후의 차이점이 궁금해서요! Metric은 어떤 metrix들을 사용할 예정인가요?!!

[DongjunLee]

아아, 제가 잘못 이해를 했었네요 ㅎㅎ BeanSearch를 적용했을 때, beam_width 에 따라서 문장을 만들어요. 예를 들어 beam_width를 10 으로 설정했을 때, 10개의 문장을 다 만들어 내요.

제가 테스트 해봤을 때는 그다지 좋은 성능을 내지는 못했어요.

Metrix는 NMT에 주로 사용되는 BLEU를 사용해야하는 것인지.. 고민을 하고 있어요. 관련 논문으로는 How NOT To Evaluate Your Dialogue System: An Empirical Study of Unsupervised Evaluation Metrics for Dialogue Response Generation 이걸 참고하려고 해요.