스터디 논문 추천이요!

[Taekyoon]

Deal or No Deal? End-to-End Learning for Negotiation Dialogues 나름 재미있을거 같은 논문이어서 추천해 봅니다!

[Kyeongpil]

ㅋㅋㅋ 요새 이 논문으로 시끄럽죠 https://www.youtube.com/watch?v=hTGiUWdd-RA

ai들이 학습 안돼서 말을 이상하게 하는걸 신문사에서 마치 인간을 이해 못하도록 따돌린다는 식으로 내보내서 ㅋㅋ 이 논문도 흥미로운 논문인 것 같아요!

[Kyeongpil]

facebook에서 번역을 NMT로 대체했는데요

위에 언급한 문제처럼 RNN에서는(attention을 적용해도) 문맥을 잃고 특정 단어를 반복하는 문제가 있습니다. 예전 텀프로젝트로 text summarization을 했었는데 이때도 특정 단어가 반복되더라구요

그래서 한번 발생한 단어에 대해서는 attention weight를 낮추거나 0으로 만들면 해결이 되지 않을까 하는 생각이 드네요

[Taekyoon]

@rudvlf0413 한번 발생한 단어에 대해 attention weight을 낮추는 방법에는 동의합니다만 이 경우에 대해서도 문제가 될 수 있는 부분이 있을 듯 싶습니다. 만약에 말도 안될 수 있고 웃긴 예제지만 위에 예시에서 말 그대로 '보물의 보물'이라는 말을 영어로 번역하라고 했을 때 뭔가 attention이 떨어져 다른 번역을 하려는 단어들 중 data라던지 이런 단어에 대한 weight이 높게 나온다면 원래 기대했던 거는 'treasure of precious' 또는 'treasure of treasure'일 수 있는데 'treasure of data'라고 나올 수도 있을거 같네요. 아무튼! 이건 제 생각이에요. 이건 한번 실험을 해봐야 알 수 있는 부분일거 같기도 해요 ㅋ