about this paper

Author: Hu Xu, Bing Liu, Lei Shu, Philip S. Yu Link: https://www.aclweb.org/anthology/P18-2094.pdf

model

일반 엠베딩 concat 도메인 특화 엠베딩 -> 복수의 CNN 레이어 -> FC -> Softmax

일반 엠베딩: 미리 훈련된 glove.840B.300d 사용.
도메인 특화 엠베딩: fastText로 특정 도메인에 속한 리뷰만 골라 훈련.
- laptop에 관해서는 아마존 electronics를
- retaurant에 관해서는 Yelp의 Restaurant를 사용.
- 차원은 100.
- 훈련 에폭은 30.
- 워낙 코퍼스가 적다보니 처음 보는 단어에 대응하기 위해 n-gram으로 fastText 엠베딩도 준비.
엠베딩을 두 개나 이용하는 이유:
- encode의 첫 번째가 엠베딩이기 때문에 정보 처리에 있어서 가장 중요한 절차라서.
- 입력값의 양 끝에 제로 벡터를 넣은 것은 CNN레이어를 거친 출력값이라고 입력값과 대응될 수 있도록 하기 위함.
- 엠베딩은 모델을 훈련할 때는 fix.
- 훈련데이터에 맞춰서 튜닝되면 처음보는 단어에 제대로 대응을 못하기 때문에 이 부분은 CNN이 보완할 것이다.

비교대상은 싱글 태스크, 멀티 태스크 모델 전부.
더블 엠베딩을 사용한 모델:
- DE-LSTM
- DE-OOD-CNN(도메인 엠베딩 대신 해당 도메인만을 제외한 엠베딩 사용)
- DE-Google-CNN(일반 엠베딩을 GoogleNews로 glove 엠베딩 한 것; 더 작은 코퍼스 사용한 것 을 사용)
- DE-CNN-CRF(softmax레이어 대신 CRF를 사용)

첫 CNN레이어라면 128filter, k=3으로 설정(c=1, 여기서 c는 padding인듯)하고 128filter, k=5로 설정(c=2).
다음 레이어({2, 3, 4})부터 256filter, k=5로 설정(c=2).
드롭아웃은 0.55이며 엠베딩 레이어와 각 ReLU 레이어 다음에 실행.
optimizer는 Adam이고 학습률은 0.0001인데 이렇게 작지 않으면 CNN이 불안정하게 학습한다.

Max-Pooling을 사용하면 단어의 순서정보를 잃는다.
아웃 도메인 엠베딩을 사용하면 정도가 낮은 것을 보아 인 도메인 엠베딩이 중요하다.
CRF 레이어가 1-2% 정도 올릴 수는 있지만 정도가 80%이상일 때에는 전혀 소용없다.
왜냐 하면, CRF는 라벨의 의존관계(BIO태그에서 I는 반드시 B다음에 오는 등의 의존관계)를 알아낼 때 힘을 발휘하는데 aspect는 거의 한 단어에서 그치기 때문이다.
LSTM 하나만 사용하는 것은 더블 엠베딩을 사용하는 모델 중에서 가장 성능이 떨어졌다.

aspect 용어가 A 그리고 B와 같은 형식일 때 A만 추출되고 B는 추출되지 않는다. 이는 다음 과제로 남겨둔다.