mLongT5: A Multilingual and Efficient Text-To-Text Transformer for Longer Sequences, David Uthus+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2305.11129

  Affiliations

  • David Uthus, N/A
  • Santiago Ontañón, N/A
  • Joshua Ainslie, N/A
  • Mandy Guo, N/A

    Abstract

  • We present our work on developing a multilingual, efficient text-to-texttransformer that is suitable for handling long inputs. This model, calledmLongT5, builds upon the architecture of LongT5, while leveraging themultilingual datasets used for pretraining mT5 and the pretraining tasks ofUL2. We evaluate this model on a variety of multilingual summarization andquestion-answering tasks, and the results show stronger performance for mLongT5when compared to existing multilingual models such as mBART or M-BERT.

    Translation (by gpt-3.5-turbo)

• 本研究では、長い入力を処理するのに適した多言語で効率的なテキスト・トゥ・テキスト・トランスフォーマーの開発に取り組んでいます。このモデルは、mT5の事前学習に使用される多言語データセットとUL2の事前学習タスクを活用しながら、LongT5のアーキテクチャをベースに構築されたmLongT5と呼ばれます。我々は、このモデルを多言語要約や質問応答などの様々なタスクで評価し、その結果、mBARTやM-BERTなどの既存の多言語モデルと比較して、mLongT5の性能がより強力であることが示されました。

  Summary (by gpt-3.5-turbo)

• 本研究では、多言語で長い入力を処理するための効率的なテキスト・トゥ・テキスト・トランスフォーマーの開発を行い、mLongT5というモデルを提案した。mT5の事前学習とUL2の事前学習タスクを活用し、多言語要約や質問応答などのタスクで評価した結果、既存の多言語モデルよりも性能が優れていることが示された。

[AkihikoWatanabe]

lib:https://huggingface.co/agemagician/mlong-t5-tglobal-xl

[AkihikoWatanabe]

16384 tokenを扱えるT5。102言語に対応