Controllable Unsupervised Text Attribute Transfer via Editing Entangled Latent Representation

어떤 내용의 논문인가요? 👋

unsupervised style transfer 의 기존 연구들에서는 content 에 독립적인 여러 attribute 들을 각각 분리해서 학습하는 접근 방식을 주로 사용합니다. (예를 들어 각 attribute 별 decoder 를 학습하거나, 각각의 attribute representation 을 학습하는 경우 처럼 말이죠)
하지만 이런 학습 방식은 transfer 하는 정도를 제어하거나 여러개의 attribute 를 동시에 사용해서 transfer 하는 경우에 유연하게 반응할 수 없는 문제점을 갖고 있습니다.
이 문제를 해결하기 위해서, 본 논문에서는 새로운 unsupervised text attribute transfer framework를 제안합니다. 이는 기존의 attribute 모델링하는 과정을 attribute classifier를 사용하도록 변경하여 최소한의 latent representations 변경만으로 개선시킨 방법입니다.
처음으로 discrete text 의 얽혀 있는 latent representation 을 학습하는 Transformer 기반의 autoencoder를 제안합니다. 이 구조는 attribute transfer task 에서 optimization problem 를 풀도록 문제를 변환시키게 됩니다.
또한 transfer된 결과의 target attribute 가 맞을 때 까지 반복해서 latent representation 을 변경해 나가는 Fast-Gradient-Iterative-Modification algorithm 을 제안합니다.
결과적으로 이 모델과 학습 방법을 통해 transfer 정도를 조절할 뿐만 아니라, 여러개의 aspect를 동시에 사용한 tranfer도 가능하다는 것을 본 논문에서 보여줍니다.
3개의 public dataset 에 대해 기존 연구들보다 월등한 성능을 보여주었습니다.

Abstract (요약) 🕵🏻‍♂️

Unsupervised text attribute transfer automatically transforms a text to alter a specific attribute (e.g. sentiment) without using any parallel data, while simultaneously preserving its attribute-independent content. The dominant approaches are trying to model the content-independent attribute separately, e.g., learning different attributes' representations or using multiple attribute-specific decoders. However, it may lead to inflexibility from the perspective of controlling the degree of transfer or transferring over multiple aspects at the same time. To address the above problems, we propose a more flexible unsupervised text attribute transfer framework which replaces the process of modeling attribute with minimal editing of latent representations based on an attribute classifier. Specifically, we first propose a Transformer-based autoencoder to learn an entangled latent representation for a discrete text, then we transform the attribute transfer task to an optimization problem and propose the Fast-Gradient-Iterative-Modification algorithm to edit the latent representation until conforming to the target attribute. Extensive experimental results demonstrate that our model achieves very competitive performance on three public data sets. Furthermore, we also show that our model can not only control the degree of transfer freely but also allow to transfer over multiple aspects at the same time.

이 논문을 읽어서 무엇을 배울 수 있는지 알려주세요! 🤔

auto-encoder 기반의 style-transfer 학습 방식을 이해하고, 인사이트를 얻을 수 있습니다.
style 의 변형 정도를 설정하는 방법에 대해 알아 볼 수 있습니다.
multiple attribute 를 동시에 사용하는 style-transfer 기법에 대해 알아볼 수 있습니다.
왜 제안된 방식을 사용하면 기존의 방식보다 representation 을 적게 편집해도 되는지 알 수 있습니다.

레퍼런스의 URL을 알려주세요! 🔗

https://arxiv.org/abs/1905.12926

Motivation

content 와 style latent space 를 분리하는 것을 어렵고, entangle latent varaible 에서 바로 style transfer 하는 방법이 오히려 더 성능이 좋다는 사실이 이전 연구(#23) 를 통해 증명되었습니다.
본 논문도 이에 동의하며, entangle 형식의 latent variable 을 이용해서 unsupervised style transfer 문제를 풀고자 합니다.
다만 이전 연구에서는 adversarial 방식을 이용해서 이 문제를 풀었는데 adversarial 은 학습이 어렵습니다.
또한 본 논문에서는 multi-attribute 에 대해서도 처리를 하고 싶은데 기존의 방식에서는 각 multi-attribute 의 flexibility 와 controllability 가 떨어진다는 점을 문제 삼았습니다.

Method

학습시에는 VAE의 reconstruction loss와 attribute classifier 를 학습하도록 합니다.
이후에 inference, 즉 style transfer 를 적용하고자 할 때에는 encoder 로 생성된 latent variable 을 계속 업데이트 하면서 attribute classifier 와의 loss 가 일정 threshold 이하가 될 때 까지 반복하며 latent variable 을 수정합니다.
이를 통해서 별도의 adversarial training 없이 unsupervised style transfer 목표를 달성할 수 있습니다.
또한 새로운 attribute 를 추가하고 싶다면 새로운 attribute classifier 만 학습시키면 위의 문제를 해결할 수 있습니다.

Novelty

다만 본 논문이 #19 과 매우 동일하다는 점에 있어서 novelty 에 대한 의심이 있습니다. 두 논문중 어떤 논문이 먼저 이 아이디어를 메인으로 사용하였는지는 분석을 해 봐야겠지만 전체적인 컨셉이나 방법이 비슷하다고 느껴집니다. (두 논문에서 메인으로 주장하는 부분이 inference 시에 variational latent variable 을 원하는 style 을 갖도록 style classifier 를 이용해 optimize 하는 방식을 사용하고 있기 때문입니다)

codertimo / paper-log