How multilingual is Multilingual BERT?

[seopbo]

Abstract (요약) 🕵🏻‍♂️

In this paper, we show that Multilingual BERT (M-BERT), released by Devlin et al. (2018) as a single language model pre-trained from monolingual corpora in 104 languages, is surprisingly good at zero-shot cross-lingual model transfer, in which task-specific annotations in one language are used to fine-tune the model for evaluation in another language. To understand why, we present a large number of probing experiments, showing that transfer is possible even to languages in different scripts, that transfer works best between typologically similar languages, that monolingual corpora can train models for code-switching, and that the model can find translation pairs. From these results, we can conclude that M-BERT does create multilingual representations, but that these representations exhibit systematic deficiencies affecting certain language pairs.

어떤 내용의 논문인가요? 👋

• 영어에 대해서 Pretrained LM이 가지고 있는 정보, 그 중에서도 syntactic and named entity information 이 언어에 상관없이 잘 generalize 되는지 실험적으로 분석한 논문
  • Main task: NER, POS
  • Main method: Zero-shot cross-lingual transfer (Multilingual BERT 모델을 한 언어에 대해 finetuning 시키고, 다른 언어에 대해 같은 task의 성능을 평가)

이 논문의 결론을 적어주세요.

1. 아래 내용으로 학습한 Multilingual BERT (M-BERT) 는 NER과 POS task에 대해 cross-lingual transfer ability 가 좋다.
   • language identifier 없이
   • 위키피디아의 문서로 학습 (140 개 언어)
   • w/ shared word piece vocab
2. 모든 언어쌍에 대해 zero-shot transfer 가 잘 된 것은 아니었는데 그렇다면 왜 이런 차이가 발생할까?
   • finetuning 언어와 evaluation 언어의 vocab overlap 때문은 아님
   • 오히려 언어의 typological 특징 때문
     • typological 특징도 여러 종류가 있는데 (여기서는 subject/object/verb order, adjective/noun order에 대해서만 결과를 보여줌), 그 중 SVO order 에 가장 큰 영향을 받음
   • transfer 하기 위한 언어에 대해 학습한 적이 있을 때 transfer 가능
   • M-BERT 의 중간 layer (8/12) 에서 cross-lingual information 이 높음

이 논문의 아이디어를 적어주세요. (요약하여 적거나, 자세히 적어도 상관없습니다.)

Main Question: 무엇이 M-BERT의 zero-shot cross-lingual transferability를 만들어내는가?

0. Preliminaries

1. NER task

• dataset: CoNLL-2002, 2003 dataset, Google in-house dataset
  • There are four types of phrases: person names (PER), organizations (ORG), locations (LOC) and miscellaneous names (MISC)
• lang: nl, es (2002) / en, de (2003) 총 4개 + in-house dataset with 16 languages (Arabic, Bengali, Czech, German, English, Spanish, French, Hindi, Indonesian, Italian, Japanese, Korean, Portuguese, Russian, Turkish, and Chinese)
• example (en)
  • NER tagged plain text: [PER Wolff ] , currently a journalist in [LOC Argentina ] , played with [PER Del Bosque ] in the final years of the seventies in [ORG Real Madrid ] .
  • NER data:

    Wolff B-PER
        , O
    currently O
        a O
    journalist O
       in O
    Argentina B-LOC
        , O
    played O
     with O
      Del B-PER
    Bosque I-PER
       in O
      the O
    final O
    years O
       of O
      the O
    seventies O
       in O
     Real B-ORG
    Madrid I-ORG
        . O

2. POS task

• dataset: Universal Dependencies (UD) data (Universal dependencies v1: A multilingual treebank collection, Nivre, 2019) for 41 languages
  • Arabic, Bulgarian, Catalan, Czech, Danish, German, Greek, English, Spanish, Estonian, Basque, Persian, Finnish, French, Galician, Hebrew, Hindi, Croatian, Hungarian, Indonesian, Italian, Japanese, Korean, Latvian, Marathi, Dutch, Norwegian (Bokmaal and Nynorsk), Polish, Portuguese (European and Brazilian), Romanian, Russian, Slovak, Slovenian, Swedish, Tamil, Telugu, Turkish, Urdu, and Chinese
• evaluation set: Multilingual Parsing from Raw Text to Universal Dependencies, Zemman et al. 2017 (CoNLL 2017 shared Task)
  • example (ko):

    # sent_id = n01007012
    # text = 이 부분에서 게임과 우리 일상 생활 사이의 유사점을 찾을 수 있습니다.
    # text_en = There are parallels to draw here between games and our everyday lives.
    # translit = .i .bu.bun.e.seo .ge.im.gwa .u.ri .il.sang .saeng.hwal .sa.i.yi .yu.sa.jeom.eul .chaj.eul .su .iss.seub.ni.da.
    1   이   _   DET DT  _   2   det _   Translit=.i|LTranslit=_
    2   부분에서    부분  NOUN    NN+CM   Case=Advb|Polite=Form   9   advmod  _   MSeg=부분-에서|Translit=.bu.bun.e.seo|LTranslit=.bu.bun
    3   게임과 게임  NOUN    NN+CP   Polite=Form 7   compound    _   MSeg=게임-과|Translit=.ge.im.gwa|LTranslit=.ge.im
    4   우리  _   PRON    PRP Person=1    6   compound    _   Translit=.u.ri|LTranslit=_
    5   일상  _   NOUN    NN  _   6   compound    _   Translit=.il.sang|LTranslit=_
    6   생활  _   NOUN    NN  _   3   conj    _   Translit=.saeng.hwal|LTranslit=_
    7   사이의 사이  NOUN    NN+CM   Case=Gen|Polite=Form    8   nmod:poss   _   MSeg=사이-의|Translit=.sa.i.yi|LTranslit=.sa.i
    8   유사점을    유사점 NOUN    NN+CM   Case=Acc|Polite=Form    9   obj _   MSeg=유사점-을|Translit=.yu.sa.jeom.eul|LTranslit=.yu.sa.jeom
    9   찾을  _   VERB    VV  Form=Adn    10  acl:relcl   _   Translit=.chaj.eul|LTranslit=_
    10  수   _   NOUN    NNB _   11  nsubj   _   Translit=.su|LTranslit=_
    11  있습니다    _   ADJ JJ  Mood=Ind|VerbForm=Fin   0   root    _   SpaceAfter=No|Translit=.iss.seub.ni.da|LTranslit=_
    12  .   .   PUNCT   .   _   11  punct   _   Translit=.|LTranslit=_

3. Code-switching (CS) and Transliterate (Tlit) task

• Code-switching: 여러 언어가 한 문장에 등장하는 경우
  • ex 1) Hate speech를 investigate하기 위한 social media platform으로는 대표적으로 Twitter가 많이 utilize되며, 종종 facebook도 consider된다. (ref. @warnikchow)
  • ex 2) I thought मौसम different होगा बस fog है
• Tlit: 음차 표기
  • ex 1)
  • ex 2) I thought mosam different hoga bas fog hy

1. M-BERT 의 cross-lingual transferability 는 vocab overlap 때문일까? ➡️ NO

• vocab overlap: fine-tuning dataset (train) 의 word piece 와 evaluation dataset (test) 의 word piece 간의 overlap
• 검증 방식:
  • NER task 중 16개의 언어에 대한 in-house 데이터셋으로 가능한 언어쌍 (16 * 15 = 240 개) 에 대해 overlap을 구하고, trasfer score (F1) 를 report
  • (결과) M-BERT는 vocab overlap 과 무관하게 generally 성능이 좋다. vocab overlap 이 0인 언어쌍에 대해서도 최소 40%의 F1 score 를 보인다. 반면 EN-BERT 는 vocab overlap 에 굉장히 많이 영향을 받는다.

2. M-BERT의 cross-lingual transferability 는 언어의 typological 특징 때문일까? ➡️ YES

• 근거: POS accuracy of ur → hi (91%) while en→ ja (49.4%) (둘 다 다른 script 를 사용하는 언어쌍, a.k.a vocab overlap ~= 0)
• typological features
• (결과) 공통된 typological feature 의 개수가 많을수록 transferabiltiy 향상
• (결과) 여러 typological features 중에서 SOV order 와 AN order의 영향을 비교했을 때 전자가 더 영향이 큼

3. M-BERT의 cross-lingual transferability 는 CS 혹은 Tlit 까지 적용될 수 있을까? ➡️ CS (YES) / Tlit (NO)

• CS 실험 목적: Generalizing to code-switching is similar to other cross-lingual transfer scenarios, but would benefit to an even larger degree from a shared multilingual representation.
• Tlit 실험 목적: Generalizing to transliterated text is similar to other cross-script transfer experiments, but has the additional caveat that M-BERT was not pre-trained on text that looks like the target.
• (결과) M-BERT는 CS text 에 좋은 성능을 보임 (90.56% ⇒ 86.59%). 하지만 Tlit 은 이러한 종류의 데이터에 학습되지 않고서는 trasferability를 기대하기 어려움 (85.64% ⇒ 50.41%)

4. M-BERT의 feature space

• WMT16 병렬 코퍼스를 사용해서 언어쌍 간의 NN accuracy 측정
• (결과) 중간 layer에서 linguistic information을 공유하고 이는 언어에 관계없이 비슷하게 나타남

논문에 대한 (개인적인) 생각

1. vocab overlap 실험에서 EN-BERT와의 비교는 정당한가?

• 제 추측으로는, vocab overlap 실험에서 M-BERT 만을 보았을 때, 이 경향성이 overlap에 영향을 받는 것인지 아닌지 판단하기 어려웠기 때문에 상대 비교를 할만한 결과가 필요해서 EN-BERT의 실험 결과를 넣은 것 같습니다.
  • 아래 이미지에서 corr 을 보면 어느 정도 유의미해 보이는 양의 상관관계가 나올 것 같고, 그렇다면 영향을 받는다고 해석해야할 수도 있지만,
  • vocab overlap이 0임에도 40%의 성능을 보이므로 영향을 받는다고 하기도 애매한 상황이 아니었을까요
• 그렇지만 EN-BERT와의 비교가 정당하다고 생각하긴 어려운 것 같습니다.
  • NER 예측 task 는 sent -> model (either M-BERT or EN-BERT) -> last activation -> add.layer -> NER prediciton 로 진행되는데, sent 가 영어가 아닌 경우 tok 단계에서부터 unk으로 인식될 가능성이 높기 때문에 transfer는 고사하고 fine-tuning도 어려울 수 있습니다. 이 때문에 논문에서 EN-BERT와 XLM을 비교하는데요, Indo-european 에 대해서만 나와있습니다.
  • 영어와 alphabet 이 비슷하면, unk 이 나오지 않을 가능성이 높다고 생각해서 위의 결과가 EN-BERT로 얻어진 것에 대해 크게 거부감이 들지 않았고, 오히려 CJK 에 대해서 보였어야 하는 것 아닌가 하는 의심이 들었습니다.
  • 그래서 🤗 로 간단하게 tokenize 결과를 비교해보았습니다.
  • sent 가 es 인 경우
  • sent: Por su parte , el Abogado General de Victoria , Rob Hulls , indicó que no hay nadie que controle que las informaciones contenidas en CrimeNet son veraces .
  • M-BERT tok: Por su parte , el Ab ##oga ##do General de Victoria , Rob Hull ##s , ind ##ic ##ó que no hay nadie que controle que las informa ##ciones conte ##nida ##s en Crime ##Net son vera ##ces .
  • EN-BERT tok: Po ##r su part ##e , el A ##bo ##gado General de Victoria , Rob Hull ##s , in ##dic ##ó que no hay na ##die que control ##e que las inform ##ac ##ione ##s con ##ten ##idas en Crime ##Net son ve ##race ##s .
  • sent 가 ko 인 경우
    • sent: 언어(言語)에 대한 정의는 여러가지 시도가 있었다.
    • M-BERT tok: 언 ##어 ( 言 語 ) 에 대한 정 ##의 ##는 여러 ##가지 시 ##도가 있었다 .
    • EN-BERT tok: [UNK] ( [UNK] [UNK] ) [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] .
  • 위의 결과로 미루어보아, vocab overlap 이 낮으면서 성능도 낮았던 점들의 언어쌍에는 EN-BERT에서 unk이 많이 나왔던 언어가 포함되어 있지 않을까하는 생각이 들었고, 비교가 공정하지 않다는 생각이 들었습니다.
  • 또한 tlit. 을 M-BERT 가 못하는 이유로, pre-train step에서 tlit. corpus 가 없었기 때문이라고 언급하였는데 EN-BERT 또한 같은 이유로 성능이 낮을 수 밖에 없었을 것이라고 생각합니다.

2. SOV order 가 중요한 점이었을까?

• 논문에서는 아래 표에서 SVO -> SVO (81.55) > SVO -> SOV (66.52) 라는 점 때문에 SOV order 가 가장 중요하다고 주장합니다.
  • 하지만 반대로 SOV -> SOV (64.22) > SOV -> SVO (63.98) 의 차이가 적게 나는 점은 설명할 수 없습니다.
• 제 추측으로는, 오히려 각 그룹을 구성하는 언어와 그 언어들이 Wikipedia 에서 차지하는 비율, 즉 M-BERT 학습에 영향을 많이 끼친 언어가 중요한 역할을 했을 수도 있을 것 같습니다.
  • SVO languages: Bulgarian, Catalan, Czech, Danish, English, Spanish, Estonian, Finnish, French, Galician, Hebrew, Croatian, Indonesian, Italian, Latvian, Norwegian (Bokmaal and Nynorsk), Polish, Portuguese (European and Brazilian), Romanian, Russian, Slovak, Slovenian, Swedish, and Chinese.
  • SOV Languages: Basque, Farsi, Hindi, Japanese, Korean, Marathi, Tamil, Telugu, Turkish, and Urdu.
  • Urdu -> Hindi 의 성능이 91% 였던 점을 고려하면 이 중 어떤 언어쌍에서 굉장히 낮은 성능을 보였을 것으로 예상됩니다. (평균이 64.22 이어야하므로)
  • 그룹의 평균치를 보지 않았다면 다른 해석이 가능했을 수도..?
• SVO order 가 비슷하면 -> transfer 가 잘된다! 라는 주장을 하고 싶었다면 비교하려는 대상 언어쌍들간에 SVO order 빼고는 조건을 동일하게 만족시켰어야 하지 않을까하는 아쉬움이 남습니다.

3. feature space

• MLM은 보통 중간 layer 에서 semantic 한 성질이 가장 두드러지게 나타나는 것 같습니다.
  • ref: bottom-up
  • ref: BERTScore

4. 논문의 분석 내용

• 논문에서 분석한 결론이 지나친 일반화가 아닐까하는 생각도 듭니다.
• 일단 M-BERT가 zero-shot transferability 가 높은 이유는 어쩌면 같은 내용의 Wikipedia 문서로 학습했기 때문일 수 있습니다.
  • 만약에 한국어는 동일 내용에 대한 번역된 문서가 없는 (e.g., 네이버 블로그) 로 학습하고, 영어도 영어 나름대로의 번역문이 없는 문서로 학습된 BERT 였더라도 같은 결과가 도출되었을지는 모르겠습니다.
• M-BERT 의 학습 데이터의 특징에서 기인한 특징이 얼마나 되는지도 궁금합니다. 오히려 여기에서 영향을 많이 받았을 수도 있을 것 같아요.

논문에 대한 기타 정보

Venue

• ACL 2019

Authors

• google research team
  • 1st author: Telmo Pires (Google AI Resident)
    • pre: Unbabel 에서 APE 쪽 연구 진행
  • 2nd author: Eva Schlinger
  • 3rd author: Dan Garrette

Reference

[1] this paper: (arXiv) https://arxiv.org/abs/1906.01502 / (acl) https://www.aclweb.org/anthology/P19-1493.pdf [2] slide: http://www.dhgarrette.com/papers/pires_multilingual_bert_acl2019_slides.pdf (shared by. @soeque1) [3] youtube: https://www.youtube.com/watch?v=ZGZy_GrFkAY (shared by. @soeque1) [4] Selective Sharing for Multilingual Dependency Parsing [5] BERTScore

[soeque1]

위 논문 Multilinuual BERT(mBERT)는 Language에 대한 정보를 사용하지 않는 Language-agnostic 을 장점으로 설명하고 있습니다. 이러한 구조가 Input으로 Language 정보를 주는 모형 대비 어떠한 장단점이 있는 지 궁금합니다.

다른 예) mBART(https://arxiv.org/abs/2001.08210), XLM(https://arxiv.org/abs/1901.07291) 등 다른 Multilingual 아키텍쳐에서 Language token(special token) 혹은 Language embedding(token type ids)을 활용합니다.

=> 자답: mBERT 장점: 언어를 따로 추정안해도 된다 단점: encoding은 괜찮을 수 있으나 decoding 시 타 언어 토큰이 등장할 가능성이 높을 것 같다.

[wonhocho]

Multilingual language로 학습한 모델을 적용하는 사례는.. (모든 언어 데이터가 충분하지 않은 상황에서) 다국어를 지원해야 하는 서비스라는 제 생각이 맞을까요? 특정 언어만 지원하는 경우에도 Multilingual language 학습의 장점이 있을까요?

[DataLama]

데이터가 부족한 소수언어 내의 NLP 문제를 해결하는데, single language model을 사용하는 것보다 Multilingual Bert를 사용하는 것이 더 도움이 될까요?

[bj1123]

논문과 직접적으로 관련된 질문은 아닙니다

1. input language에 대한 정보도 함께 고려하는 multilingual language model은 어떤 것이 있나요? 언어의 특징이 성능에 유의미한 영향을 미친다는 사실이 보고된 점을 미뤄 짐작해보면, input language marker의 사용이 충분한 성능 향상으로 이어질 것 같다는 생각이 들긴 합니다.
2. multilingual language model이 unsupervised 무엇 (e.g. MT)에 적용된 사례가 있을까요?

[warnikchow]

3.2에서, Table 4의 오른쪽에서, 저자들은 어떤 cross-script transfer이 다른 pair보다 less accurate하다는 예시로 English와 Bulgarian, 그리고 Japanese를 들며, typological feature (SVO or Adj/Noun order)를 이유의 하나로 제시합니다. 그런데 사실 이 과정에서 비교가 제대로 되려면, word order와 script 중 하나만 다른 경우가 와야 되지 않았나 하는 생각이 듭니다 (e.g., en-zh / zh-ja?).

1. en-zh는 en-ja보다, 혹은 zh-ja는 en-ja보다 transfer이 잘 될까요?
2. 또한, ja가 en, bg와 다르게 agglutinative인 것은 고려되지 않았는데, BERT의 tokenization 특성 상 agglutinative한 성질이 영향을 미치지는 않았을까요?
3. 마지막으로, 만약 word order가 하나의 이유라면, multilingual manner에서 M-XLNet이 M-BERT보다 더 잘 cross-lingual transfer을 보여주게 될까요?

[Beomi]

English BERT로 학습한 MT에서 Vocab Overlap이 더 많은 영향을 끼치고, mBERT보다 성능상 하락이 나타나는게 1) 결국 BERT가 바라본 전체 데이터량 때문일지 2) 만약 데이터량을 동일하게 제한한다고 하더라도 여전히 mBERT가 더 좋은 성능이 나올지 3) 많은 영어 데이터 EngBERT vs (상대적으로 적은량) mBERT 성능이 어떻게 될지도 궁금하네요.

그리고 Subword로 구별을 하는데.. 예를들어 영어/한국어가 섞인 데이터(당장 우리 이슈댓글들만 해도..)로 학습할 때 이게 겹치는 비율이 높다고 볼 수 있는걸까요? -> 이때 Positional(Word Order) Info가 BERT에게 얼마나 '더 잘 학습하게 하는' 도움이 될까요?

[hanjiyoon01]

(회사 아이디로 달아서 지우고 다시 답니다ㅠ_ㅠ 알람 두 번 받으신 분들 죄송해요)

1) vocab overlap이 큰 영향을 미치지 않은 이유는 어차피 공기하는 token 간의 관계가 임베딩에 영향을 미치기 때문일까요?

2) 언어 유형을 나누는 기준인 WALS features(https://wals.info/)가 굉장히 흥미로운데, 과연 이 특성들이 임베딩에 제대로 반영이 되어 있을까요? 일본어의 경우 word piece가 어떤 경향을 보이는 지 모르겠지만 토크나이진 단위가 3개나 되는데, 하나는 형태소에 가까운 최소 단위, 하나는 문법적인 연어까지 포괄하는 단위, 하나는 어절(文節, bunsetsu) 단위인데 subword가 저 세 단위 중 어느 것에 가깝냐에 따라서 문법법주를 나누는 것이 상당히 달라질 것 같아요. 한국어의 경우도 adjective(형용사)의 특성이 영어와 상당히 다르기 때문에 임베딩에 어떻게 반영이 되었을 지 궁금합니다. 특히 POS 평가 데이터인 UD는 한국어는 어절단위, 일본어는 어절 단위였다가 SUW기반으로 변경해놔서 어떤 식으로 처리되었는 지도 궁금하네요.

[Taekyoon]

1. Figure 3: Accuracy of nearest neighbor translation for EN-DE, EN-RU, and HI-UR. 이 내용에서 match accuracy가 마지막 레이어로 가면서 떨어지는데 왜 이럴까요?

[oglee815]

cross lingual model transfer 의 성능비교시, 저자는 typologically 비슷한 언어들에서 성능이 좋다고 했는데, 물론 이 이유도 있겠지만 애초에 프리트레이닝 단계에서 사용된 각 언어들의 데이터 양 자체가 중구난방으로 달랐다는 것도 한 요인이 될 수 있지 않을까 하는 생각이 드네요.

[Huffon]

1. Code-switching 이라는 문제가 흥미로운데, NMT에 있어서도 중요하게 다루어질 문제일 것 같습니다. 번역기 관련 연구를 하실 때, Code-switching 같은 문제들은 어떻게 접근하고 계신가요? 생각해보니 이 질문도 CS 사례가 되어가고 있는 것 같네요..

2. 언어 유형학적으로 비슷한 언어 간 트랜스퍼가 더 잘된다는 사실에 있어 궁금한 점이 생겼습니다. MLM을 통한 사전학습이 Representation 학습에는 큰 도움이 되지만 문장 구조와 같은 Syntactic한 지식은 많이 학습하지 못하는게 아닐까라는 생각이 들었는데, 다른 분들의 의견도 궁금합니다 !

[oglee815]

위 논문 Multilinuual BERT(mBERT)는 Language에 대한 정보를 사용하지 않는 Language-agnostic 을 장점으로 설명하고 있습니다. 이러한 구조가 Input으로 Language 정보를 주는 모형 대비 어떠한 장단점이 있는 지 궁금합니다.

다른 예) mBART(https://arxiv.org/abs/2001.08210), XLM(https://arxiv.org/abs/1901.07291) 등 다른 Multilingual 아키텍쳐에서 Language token(special token) 혹은 Language embedding(token type ids)을 활용합니다.

=> 자답: mBERT 장점: 언어를 따로 추정안해도 된다 단점: encoding은 괜찮을 수 있으나 decoding 시 타 언어 토큰이 등장할 가능성이 높을 것 같다.

같은 저자의 최근 논문에서는 cs의 편의를 위해서 language embedding을 삭제했다고하네요 https://arxiv.org/abs/1911.02116

[kh-kim]

• Code-switching 이라는 문제가 흥미로운데, NMT에 있어서도 중요하게 다루어질 문제일 것 같습니다. 번역기 관련 연구를 하실 때, Code-switching 같은 문제들은 어떻게 접근하고 계신가요? 생각해보니 이 질문도 CS 사례가 되어가고 있는 것 같네요..

디코더를 놓고 생각해보면, 결국 언어모델이 code-switched corpus를 봐야 maximum likelihood 관점에서 code-switching 된 결과물을 내놓을 수 있지 않을까요? 또는 추가적인 contraint을 주는 방법이 있지 않을까요..

[seopbo]

1. Code-switching 이라는 문제가 흥미로운데, NMT에 있어서도 중요하게 다루어질 문제일 것 같습니다. 번역기 관련 연구를 하실 때, Code-switching 같은 문제들은 어떻게 접근하고 계신가요? 생각해보니 이 질문도 CS 사례가 되어가고 있는 것 같네요..
2. 언어 유형학적으로 비슷한 언어 간 트랜스퍼가 더 잘된다는 사실에 있어 궁금한 점이 생겼습니다. MLM을 통한 사전학습이 Representation 학습에는 큰 도움이 되지만 문장 구조와 같은 Syntactic한 지식은 많이 학습하지 못하는게 아닐까라는 생각이 들었는데, 다른 분들의 의견도 궁금합니다 !

시간이 지체되서 제가 나중에 정리해놓을게요,

[seopbo]

3.2에서, Table 4의 오른쪽에서, 저자들은 어떤 cross-script transfer이 다른 pair보다 less accurate하다는 예시로 English와 Bulgarian, 그리고 Japanese를 들며, typological feature (SVO or Adj/Noun order)를 이유의 하나로 제시합니다. 그런데 사실 이 과정에서 비교가 제대로 되려면, word order와 script 중 하나만 다른 경우가 와야 되지 않았나 하는 생각이 듭니다 (e.g., en-zh / zh-ja?).

1. en-zh는 en-ja보다, 혹은 zh-ja는 en-ja보다 transfer이 잘 될까요?
2. 또한, ja가 en, bg와 다르게 agglutinative인 것은 고려되지 않았는데, BERT의 tokenization 특성 상 agglutinative한 성질이 영향을 미치지는 않았을까요?
3. 마지막으로, 만약 word order가 하나의 이유라면, multilingual manner에서 M-XLNet이 M-BERT보다 더 잘 cross-lingual transfer을 보여주게 될까요?

시간이 정체되어 따로 정리하겟습니다.

[inmoonlight]

@wonhocho

Multilingual language로 학습한 모델을 적용하는 사례는.. (모든 언어 데이터가 충분하지 않은 상황에서) 다국어를 지원해야 하는 서비스라는 제 생각이 맞을까요? 특정 언어만 지원하는 경우에도 Multilingual language 학습의 장점이 있을까요?

제 개인적인 의견은 특정 언어에 대해서는 그 언어로 학습한 모델이 좋기 때문에, 특정 언어만 지원하는 환경에서는 M-BERT의 장점이 떨어지는 것 같습니다!

• EN-BERT > M-BERT on English
• KO-BERT > M-BERT on Korean

[inmoonlight]

@DataLama

데이터가 부족한 소수언어 내의 NLP 문제를 해결하는데, single language model을 사용하는 것보다 Multilingual Bert를 사용하는 것이 더 도움이 될까요?

위의 질문에 대한 답과 연결될 수 있을 것 같아요! 네 low-resource language 의 경우 M-BERT 가 더 좋을 것 같습니다 ㅎㅎ

[inmoonlight]

@bj1123

논문과 직접적으로 관련된 질문은 아닙니다 input language에 대한 정보도 함께 고려하는 multilingual language model은 어떤 것이 있나요? 언어의 특징이 성능에 유의미한 영향을 미친다는 사실이 보고된 점을 미뤄 짐작해보면, input language marker의 사용이 충분한 성능 향상으로 이어질 것 같다는 생각이 들긴 합니다. multilingual language model이 unsupervised 무엇 (e.g. MT)에 적용된 사례가 있을까요?

input lang 에 대한 정보 = token id 정도로 본다면, Google’s Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation 이 논문에 따르면 decoding 시에 token id 를 사용해서 번역합니다!

[inmoonlight]

@Taekyoon

Figure 3: Accuracy of nearest neighbor translation for EN-DE, EN-RU, and HI-UR. 이 내용에서 match accuracy가 마지막 레이어로 가면서 떨어지는데 왜 이럴까요?

이 논문에 따르면, 마지막 레이어에서는 언어 specific 한 token 을 generate 해야하므로 언어의 특징이 좀 더 반영된 representation 이 나타나기 때문인 것 같습니다. Voita 의 The Bottom-up Evolution of Representations in the Transformer: A Study with Machine Translation and Language Modeling Objectives 논문에서도 비슷한 결론이 도출된 것 같습니다.

[inmoonlight]

@oglee815

cross lingual model transfer 의 성능비교시, 저자는 typologically 비슷한 언어들에서 성능이 좋다고 했는데, 물론 이 이유도 있겠지만 애초에 프리트레이닝 단계에서 사용된 각 언어들의 데이터 양 자체가 중구난방으로 달랐다는 것도 한 요인이 될 수 있지 않을까 하는 생각이 드네요.

동의합니다! @Beomi 님도 비슷한 의문을 가진 것 같아요 ㅎㅎ