MEGABYTE: Predicting Million-byte Sequences with Multiscale Transformers, Lili Yu+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2305.07185

  Affiliations

  • Lili Yu, N/A
  • Dániel Simig, N/A
  • Colin Flaherty, N/A
  • Armen Aghajanyan, N/A
  • Luke Zettlemoyer, N/A
  • Mike Lewis, N/A

    Abstract

  • Autoregressive transformers are spectacular models for short sequences butscale poorly to long sequences such as high-resolution images, podcasts, code,or books. We proposed Megabyte, a multi-scale decoder architecture that enablesend-to-end differentiable modeling of sequences of over one million bytes.Megabyte segments sequences into patches and uses a local submodel withinpatches and a global model between patches. This enables sub-quadraticself-attention, much larger feedforward layers for the same compute, andimproved parallelism during decoding -- unlocking better performance at reducedcost for both training and generation. Extensive experiments show that Megabyteallows byte-level models to perform competitively with subword models on longcontext language modeling, achieve state-of-the-art density estimation onImageNet, and model audio from raw files. Together, these results establish theviability of tokenization-free autoregressive sequence modeling at scale.

    Translation (by gpt-3.5-turbo)

• オートレグレッシブトランスフォーマーは、短いシーケンスに対しては素晴らしいモデルですが、高解像度の画像、ポッドキャスト、コード、または書籍などの長いシーケンスにはスケーリングが困難です。本研究では、Megabyteというマルチスケールデコーダーアーキテクチャを提案し、100万バイト以上のシーケンスのエンドツーエンドの微分可能なモデリングを可能にしました。Megabyteは、シーケンスをパッチに分割し、パッチ内のローカルサブモデルとパッチ間のグローバルモデルを使用します。これにより、サブ二次の自己注意、同じ計算に対してはるかに大きなフィードフォワードレイヤー、およびデコーディング中の改善された並列処理が可能になり、トレーニングと生成の両方でコストを削減しながらより良いパフォーマンスを発揮できます。徹底的な実験により、Megabyteにより、バイトレベルのモデルが長いコンテキストの言語モデリングでサブワードモデルと競争力を持ち、ImageNetで最先端の密度推定を達成し、生のファイルからオーディオをモデル化できることが示されました。これらの結果により、トークナイゼーションフリーのオートレグレッシブシーケンスモデリングのスケールでの実現可能性が確立されました。

  Summary (by gpt-3.5-turbo)

• オートレグレッシブトランスフォーマーは短いシーケンスに対して優れたモデルだが、長いシーケンスにはスケーリングが困難である。本研究では、Megabyteというマルチスケールデコーダーアーキテクチャを提案し、100万バイト以上のシーケンスのモデリングを可能にした。Megabyteは、パッチに分割し、ローカルサブモデルとグローバルモデルを使用することで、トレーニングと生成の両方でコストを削減しながらより良いパフォーマンスを発揮できる。徹底的な実験により、Megabyteにより、バイトレベルのモデルが長いコンテキストの言語モデリングで競争力を持ち、ImageNetで最先端の密度推定を達成し、生のファイルからオーディオをモデル化できることが示された。

[AkihikoWatanabe]

byte列のsequenceからpatch embeddingを作成することで、tokenizer freeなtransformerを提案。 byte列で表現されるデータならなんでも入力できる。つまり、理論上なんでも入力できる。