SemEval 데이터의 aspect terms 분류를 위해 문서 단위(aspect terms 정보는 없지만 긍정, 부정이 라벨링 된 리뷰)의 정보를 CapsNet으로 전이해 학습하는 수법으로 dinamic routing은 aspect routing으로 변형해 전이 정보에 적용한다. Wang et al., 2016(AT-LSTM)과 흐름은 비슷한 모델이지만 ASC(aspect-level sentiment classification) 태스크에서 캡슐네트워크를 활용한 것은 본 연구가 처음이다.
이제까지 문제점
He et al., 2018은 문서 단위 aspect terms 감정 분류에 성공했지만 정작 문서 정보(풍부한 언어적, 의미적 자원)는 별로 이용하지 않았으며 완곡어구나 반어표현은 잡아내지 못하는 등의 취약점을 보이고 있다.
해결방안
CNN은 스칼라를 출력하지만 CapsNet은 캡슐 벡터들을 내놓기 때문에 더 많은 위치(고차원) 정보를 함축하고 있다. ASC 태스크는 여러 polarity와 task를 포함하고 있기 때문에 CapsNet이 훨씬 좋은 성능을 보인다.
모델
총 4 레이어로 구성되어 있으며 1) 입력값의 벡터화 2) CapsNet 3) dinamic routing 4) 분류 순으로 진행된다. 문서 단위의 특징량을 aspect terms 분류를 위해 전이한다.
1)을 위해 미리 훈련된 분산표현 e와 aspect term과의 거리를 측정한 위치 벡터 l을 concat하는 것으로 최종 분산표현 x를 얻는다.
2)는 카테고리 수 C 만큼 kernel 그룹을 반복해 특징량을 추출한다. 문서 분류기(T_D)를 훈련시킨 후의 파라메터를 aspect 분류기(T_A) 학습에 적용하는 것으로 문맥 정보를 포함해 감정분류를 했다.
3)에서는 aspect routing 가중치 a를 도입하는데 여기에는 현재 문맥에 얼마만큼의 정보가 캡슐에 들어있는지를 보여주는 것이기 때문에 a가 0일 경우 캡슐은 아무런 정보도 넘기지 못할것이다.
여기까지의 작업은 T_D와 T_A가 파라메터를 공유하기 때문에 multi-task에 가깝고 분류기만 나눠서 4)를 진행한다.
오차 계산: 클래스 캡슐의 길이는 sentiment polarity의 확률을 나타낸다. 즉, 중요한 정보의 캡슐 크기는 클 것이다. 따라서 각 캡슐에 따라 별도로 오차를 계산한다. 오차 계산에는 margin loss를 이용한다.
about this paper
Author: Zhuang Chen, Tieyun Qian Link: https://www.aclweb.org/anthology/P19-1052
SemEval 데이터의 aspect terms 분류를 위해 문서 단위(aspect terms 정보는 없지만 긍정, 부정이 라벨링 된 리뷰)의 정보를 CapsNet으로 전이해 학습하는 수법으로 dinamic routing은 aspect routing으로 변형해 전이 정보에 적용한다. Wang et al., 2016(AT-LSTM)과 흐름은 비슷한 모델이지만 ASC(aspect-level sentiment classification) 태스크에서 캡슐네트워크를 활용한 것은 본 연구가 처음이다.
이제까지 문제점
He et al., 2018은 문서 단위 aspect terms 감정 분류에 성공했지만 정작 문서 정보(풍부한 언어적, 의미적 자원)는 별로 이용하지 않았으며 완곡어구나 반어표현은 잡아내지 못하는 등의 취약점을 보이고 있다.
해결방안
CNN은 스칼라를 출력하지만 CapsNet은 캡슐 벡터들을 내놓기 때문에 더 많은 위치(고차원) 정보를 함축하고 있다. ASC 태스크는 여러 polarity와 task를 포함하고 있기 때문에 CapsNet이 훨씬 좋은 성능을 보인다.
모델
총 4 레이어로 구성되어 있으며 1) 입력값의 벡터화 2) CapsNet 3) dinamic routing 4) 분류 순으로 진행된다. 문서 단위의 특징량을 aspect terms 분류를 위해 전이한다. 1)을 위해 미리 훈련된 분산표현 e와 aspect term과의 거리를 측정한 위치 벡터 l을 concat하는 것으로 최종 분산표현 x를 얻는다. 2)는 카테고리 수 C 만큼 kernel 그룹을 반복해 특징량을 추출한다. 문서 분류기(T_D)를 훈련시킨 후의 파라메터를 aspect 분류기(T_A) 학습에 적용하는 것으로 문맥 정보를 포함해 감정분류를 했다. 3)에서는 aspect routing 가중치 a를 도입하는데 여기에는 현재 문맥에 얼마만큼의 정보가 캡슐에 들어있는지를 보여주는 것이기 때문에 a가 0일 경우 캡슐은 아무런 정보도 넘기지 못할것이다. 여기까지의 작업은 T_D와 T_A가 파라메터를 공유하기 때문에 multi-task에 가깝고 분류기만 나눠서 4)를 진행한다.
오차 계산: 클래스 캡슐의 길이는 sentiment polarity의 확률을 나타낸다. 즉, 중요한 정보의 캡슐 크기는 클 것이다. 따라서 각 캡슐에 따라 별도로 오차를 계산한다. 오차 계산에는 margin loss를 이용한다.
실험
데이터
T_A를 위해 SemEval2014 task 4의 Restaurant와 Laptop리뷰를 사용, T_D를 위해 Yelp, Amazon, Twitter를 사용한다.
설정
엠베딩을 위해 미리 훈련 된 Glove 벡터를 사용, 최적화는 Adam을 사용했다. 그 외 상세한 파라메터 정보는 논문 참고.
평가방법
macro-F1
code
https://github.com/NLPWM-WHU/TransCap
본 논문 관련해 다음으로 읽어야 할 것들
Transfer learning for deep sentiment analysis. 2018. ACL Exploiting document knowledge for aspect-level sentiment classification. 2018. ACL Transforming auto-encoders. 2011. ICANN Dynamic routing between capsules. 2017. NIPS MCapsNet: Capsule network for text with multi-task learning. 2018. EMNLP