Mask-Predict: Parallel Decoding of Conditional Masked Language Models

어떤 내용의 논문인가요? 👋

BERT Style의 Masked Language Model (MLM)은 텍스트 인코딩 뿐만 아니라 생성에 있어서도 유용하게 활용될 수 있음
CMLM이 활용하는 Parallel decoding을 통해 성능과 속도의 Trade-off를 직접 잡아줄 수도 있음

Abstract (요약) 🕵🏻‍♂️

Most machine translation systems generate text autoregressively from left to right. We, instead, use a masked language modeling objective to train a model to predict any subset of the target words, conditioned on both the input text and a partially masked target translation. This approach allows for efficient iterative decoding, where we first predict all of the target words non-autoregressively, and then repeatedly mask out and regenerate the subset of words that the model is least confident about. By applying this strategy for a constant number of iterations, our model improves state-of-the-art performance levels for nonautoregressive and parallel decoding translation models by over 4 BLEU on average. It is also able to reach within about 1 BLEU point of a typical left-to-right transformer model, while decoding significantly faster.

Autoregressive Generation 모델들은 생성을 토큰 단위로 수행하기 때문에 디코딩 스텝이 굉장히 길다는 단점
이를 해결하기 위해 최근 Non-autoregressive 연구가 많이 진행되고 있음
BERT에서 사전학습 시 사용한 MLM 을 생성단에 활용하면 한 번에 여러 토큰을 생성할 수 있지 않을까?
MLM을 활용한 CMLM을 통해 디코딩에 소요되는 시간도 줄이고, 성능도 어느 정도 보존할 수 있다는 결과를 실험을 통해 보여줌

이 논문을 읽어서 무엇을 배울 수 있는지 알려주세요! 🤔

Arch.

Transformer Base를 그대로 활용; fairseq-style Transformer
인코더는 일반적인 방식으로 Source Sentence 인코딩
인코더의 Prefix 로 붙게 되는 [LENGTH] 토큰을 활용해 Target Sentence의 길이 예측
- 길이 예측이 필요한 이유는 Autoregressive Generation의 경우, [EOS] 토큰이 나올 때 까지 Generation을 하면 되지만,
- Non-Autoregressive에서는 [EOS] 토큰을 활용하지 못하므로, Target Sentence의 틀을 먼저 생성해주어야 함
이제 예측된 길이만큼 MASK 토큰 생성; ["<mask>" for _ in range(len(predicted_len))]
첫 번째 Iteration 때는 Source Sentence에 대한 인코딩 결과 값만을 활용해 Target Sentence 생성
이후, predicted_len에 Linear decay 를 적용해 마스킹 할 토큰 개수를 결정
- 매 Iteration에서 마스킹이 되는 토큰은 해당 토큰을 예측했을 때의 확률 값이 낮은 녀석들
- 즉, 디코더가 소심하게 예측했던 토큰들은 다시금 예측을 하게끔 시키자는 것
- Iteration 마다 점차 컨텍스트의 품질이 올라가기 때문에 예측되는 토큰들의 품질도 좋아지게 됨
학습은 [LENGTH] 토큰의 길이 예측에서 발생하는 Loss + Target Sentence 내 Token Prediction에 대한 Loss로 이루어짐

Key Points

Multi-modality Problem

t = 0 인 상황을 보면, completed 단어가 중복해서 생성된 것을 볼 수 있음
이는 컨텍스트 정보가 전혀 주어지지 않은 First Iteration에서 가장 심각하게 나타날 수 있는 문제
Gu et al., 2018 에서는 해당 문제를 서로 다른 번역가가 남들이 무슨 단어를 낼지를 모르고 자신이 생각하기에 적절한 하나의 단어를 자기 자신이 맡은 자리에 내뱉는 과정과 같다고 비유
즉, 위 예제에서 completed_1 과 completed_2는 두 명의 번역가가 각자가 생각하는 Target Sentence 에서는 complete가 여기에 위치하는게 좋을 것 같다며 독립적인 예측을 수행했기 때문에 발생하는 문제

해당 문제는 Iteration이 진행되는 과정에서 컨텍스트가 풍부해지면서 일정 부분 해소되는 양상을 보여줌
Iteration을 더 할수록, 컨텍스트가 풍부해져 중복된 단어의 등장 비율이 점차 줄어나가는 것을 확인할 수 있음

Decoding Speed

Mask-Predict에서는 Iterative Decoding 을 수행하기 때문에 num_iteration 을 조정해 성능과 속도의 Trade-off 를 기호에 맞게 설정 가능
이뿐만 아니라 앞서 [LENGTH] 토큰을 통해 예측한 Target Sentence 길이에 대한 prob을 top_k개의 틀을 만들 수 있음
예를 들면, 5개의 Target Sentence 틀을 만들어 [10, 11, 9, 12, 8] 길이의 문장들을 병렬적으로 예측하게 할 수 있음
이는, Autoregressive Generation에서 Beam Search와 유사한 맥락에서 이해할 수 있음
따라서 Mask-Predict 에서는 num_iterations(T) 와 num_predicted_len(l)을 Hyper parameter로 설정해 Trade-off 에 활용 가능
위 그림을 보면 T=4, l=2 일 때, 성능을 2 포인트 가량 희생하고 3 배의 디코딩 속도를 보장 받을 수 있고,
T=10, l=2 일 때는 속도와 성능의 중간 지점을 얻을 수 있음

Sentence Length

문장 길이가 길수록 Iteration을 더 수행해주어야 할까?
문장이 길수록 Iteration을 더 많이 수행하는게 예측에 도움이 되긴 하나, 4~10 사이 값만 활용을 해도 성능이 괜찮게 나옴
num_predicted_len(l)을 왕창 늘려 Target Sentence 후보군을 많이 만들면 성능 향상에 도움이 될까?

적당히 늘리는 것은 괜찮지만 너무 많이 늘리면 오히려 성능 감소를 가져올 수 있음
이유는 늘어난 l에 따라 작은 길이, 이를 테면 4 정도의 Target Sentence 틀도 생길 것인데 4개 토큰의 Log-probabilty는 길이로부터 advantage를 얻어서 높게 측정될 것
따라서 해당 짧은 문장이 좋은 번역이라고 선택이 되어 학습을 수행하게 되지만, 정작 Inferece 시에는 완결성 있는 번역을 못하게 되기 때문

Distillation

Non-Autoregressive 모델들에 있어 Left-to-Right Generation으로 사전학습을 시키고,
해당 모델을 Teacher Model로 활용해 Non-Autoregressive 방식으로 학습을 시키는 Distillation이 대세
이러한 흐름은 Mask-Predict에서도 유효하다는 것이 실험을 통해 확인

fairseq-train \
    --task translation_lev \
    --criterion nat_loss \
    --arch nonautoregressive_transformer \
    ...
    --decoder-learned-pos \
    --encoder-learned-pos \
        ...

같이 읽어보면 좋을 만한 글이나 이슈가 있을까요?

fairseq 구현체: https://github.com/pytorch/fairseq/blob/3655cf266e32a2272d6deac6069a594977880084/fairseq/models/nat/nonautoregressive_transformer.py

레퍼런스의 URL을 알려주세요! 🔗

Mask-Predict: Parallel Decoding of Conditional Masked Language Models (EMNLP 2019): https://arxiv.org/abs/1904.09324
Mask-Preidct 설명 포스트: https://jlibovicky.github.io/2019/05/17/MT-Weekly-Constant-Time-MT.html

[질문]

우선 제가 이해한 내용에 대해서 설명을 하고 질문을 하겠습니다.

이해한 내용

논문에서 설명하는 바에 따르면 기존 transformer 방식에서 학습 하는 것과 같이 source와 target 데이터를 가지고 학습을 하는 방법입니다. 여기서 다른줌은 decoder 학습 방식을 기존의 autoregressive 방식이 아닌 mlm 방식으로 하는데 여기에 encoder 정보가 들어오니 conditional mlm (c-mlm)을 한다고 이해를 했습니다. 그리고 예측 시에는 decoder에 입력할 정보가 없으니 임의의 시퀀스 길이 N을 정의하고 mask 값을 100% => 90% => 80% 이렇게 줄여가면서 시퀀스 토큰들을 예측하여 non-autoregressive 모델 방식으로 예측한다(?) 라고 이해를 했습니다. (우선 시퀀스에 대한 batch inference를 하지 않는 방식이어서 parallel이라는 의미는 잘 모르겠습니다. 단, mlm형태로 inference를 하다보니 independent assumption에 따른 generation방식을 parallel이라 이야기 한다 정도로 이해하고 있습니다.)

질문 1

이해한 내용을 토대로만 봤을 때 제가 궁금한 부분은 학습 상황에서 alignment map(어텐션 맵) 형성을 어떻게 검증했을 지 궁금합니다. (seq2seq 계열 모델 학습 시에는 training loss와 별개로 alignment map 형성이 어떻게 되었는지 보는게 중요하다고 볼 수 있다고 알고 있습니다.). 왜 이런 궁금점이 생겼나면 decoder 학습 시에 mask 정보가 input으로 들어오면서 alignment 정보를 어떻게 학습할 수 있는지 예상이 되질 않는다고 봤었기 때문입니다. 물론 GLEU 스코어를 통해서 output에 대한 성능은 문제가 없습니다만, 모델 학습이나 예측 도중에 디버깅을 하는 입장에서는 저 alignment map 정보 형성이 중요할 수 있다고 보고 있거든요.

질문 2

alignment에 관한 또 다른 질문은 예측 상황에서 보이는 alignment map이 있을 텐데 이 정보에 대해서는 어떻게 해석을 해야할까요? 보통 encoder에 입력 토큰 정보와 decoder의 순차적인 입력 토큰 정보를 토대로 alignment map을 해석할 수 있는데 cmlm 방식으로 시퀀스를 생성하고 mask 정보가 개입이 되면서 기존의 alignment map 정보의 의미와는 다를 것 같습니다. 이 경우에는 어떻게 보고 해석할 수 있어야 할지 궁금합니다.

질문 3

C-MLM 방식의 모델에서는 alignment map에 대한 고려를 하지 않는게 맞을까요?

모델이 autoregressive에서 벗어난 모델이 되면서 source와 target간의 정보 연결이 어떻게 되어있는지 설명이 논문에 보이지 않았습니다. 이 부분에 대해서 공감하시면 이야기를 나눠봤으면 좋겠습니다! ^^

[질문]

Length를 정확히 예측하는 것도 sequence 생성에 중요한 역할을 하는 것 같습니다.

Distillation 결과 (Table 6.)에서 T = 1 일 때 성능이 크게 상승하는 것도, 제 생각에는 이와 관련있을 수 있을 것 같은데(distill 시 Length를 예측을 빨리? 잘? 배워서) 어떻게 생각하시는지요? (근거는 비슷한? TTS Fastspeech https://arxiv.org/abs/1905.09263)

@Huffon comment => pos encoding과도 관련!!

Non-autoregressive decoding에서 보통 Length를 예측하고 sequence를 decoding 하지만, 학습 시 masking을 문장 전체 혹은 큰 윈도우로 한다면?(+정확히 예측하면) length를 몰라도 예측만으로도 sequnce를 예측할 수 있을것 같은데 어떻게 생각하시는지요? ~~(근거는 비슷한? Fastspeech2 https://arxiv.org/pdf/2006.04558: 아직 자세히 안봐서.... ㅠㅠ 잘 모르겠습니당)~~

[질문]

Length에 대한 prediction이 예측의 정확도에 영향을 미치는 것은 패러프레이징 계열 (번역, 스타일 변환, 음성인식 등) 에서는 효과가 있을 수 있지만, 요약이나 대화 생성 등의 태스크에서는 어떤 일관된 경향성을 배우기 어려울 수도 있을 것 같습니다. 그러한 경우, utterance 단위의 입력 뿐 아닌, context에 관한 정보가 조금 더 많이 들어간다면, 여전히 length에 관한 부분이 효과적으로 작용할 수 있을까요?

(스터디 참석을 하지 못하여 죄송합니다 ( ))

[질문]

이해한 내용: 기존의 auto regressive (AR) 방식은 left to right이므로, 이전 time step의 예측 품질과 상관없이 다음 time step을 이에 기반해서 해야한다는 점이 있었는데, 이 방법은 잘 예측한 단어들을 기반으로 다음 예측 iteration을 수행하기 때문에 손실을 최소화할 수 있는 것 같습니다.

질문1: 어쨌든 다음 예측 interation은 입력과 이전까지 잘 예측된 단어들을 기반으로 예측이 진행되는데, 단지 방향이 없을 뿐 AR 아닌가요? 즉, 이 논문은 AR로 인한 loss를 최소화 하기보단, 그냥 속도 개선에 중점인 논문인가요?

질문2: MLM 방식을 통해 학습한 decoder가 훨씬 expressive할 것 같은데요.. 이로 인한 posterior collapse 경향을 addressing하지 않았는지? — 즉, encoder로부터의 정보를 잘 활용하도록 학습되지 않는지? 이를 방지하기 위한 constraint나 후속 연구는 없었는지?

질문3: Masking을 기계적으로 하지 않고, 네트워크를 통해 mask token을 선정하는 방법?

예전에 본 비슷한 논문: [Xia et al., 2017]

[질문]

약간 alignment와 연관된 질문일 수도 있는데, 논문의 가정중에 하나가 마스크된 토큰들(Y_mask)이 입력(src)과 마스크가 안된 토큰들(Y_obs)에 대해서 조건부 독립이라고 했는데요, 이걸 어떻게 확인 할 수 있을지 궁금합니다. 각 마스크된 토큰끼리는 연관이 없는 것일지..?

pre-trained language mode이 붙었다고 했을 때, 1같은 경우 엄청 잘되지 않을까요?

mass + mask-predict
bart + mask-predict
mass + vanilla transformer
bart + vanilla transformer

pre-trained language mode이 붙었다고 했을 때, 1같은 경우 엄청 잘되지 않을까요?

mass + mask-predict

bart + mask-predict

mass + vanilla transformer

bart + vanilla transformer

Enc/dec 둘 다 bert를 쓰면 되는거 아닐까요?

modulabs / beyondBERT