A Comprehensive Survey on Applications of Transformers for Deep Learning Tasks, Saidul Islam+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2306.07303

  Affiliations

  • Saidul Islam, N/A
  • Hanae Elmekki, N/A
  • Ahmed Elsebai, N/A
  • Jamal Bentahar, N/A
  • Najat Drawel, N/A
  • Gaith Rjoub, N/A
  • Witold Pedrycz, N/A

    Abstract

  • Transformer is a deep neural network that employs a self-attention mechanismto comprehend the contextual relationships within sequential data. Unlikeconventional neural networks or updated versions of Recurrent Neural Networks(RNNs) such as Long Short-Term Memory (LSTM), transformer models excel inhandling long dependencies between input sequence elements and enable parallelprocessing. As a result, transformer-based models have attracted substantialinterest among researchers in the field of artificial intelligence. This can beattributed to their immense potential and remarkable achievements, not only inNatural Language Processing (NLP) tasks but also in a wide range of domains,including computer vision, audio and speech processing, healthcare, and theInternet of Things (IoT). Although several survey papers have been publishedhighlighting the transformer's contributions in specific fields, architecturaldifferences, or performance evaluations, there is still a significant absenceof a comprehensive survey paper encompassing its major applications acrossvarious domains. Therefore, we undertook the task of filling this gap byconducting an extensive survey of proposed transformer models from 2017 to2022. Our survey encompasses the identification of the top five applicationdomains for transformer-based models, namely: NLP, Computer Vision,Multi-Modality, Audio and Speech Processing, and Signal Processing. We analyzethe impact of highly influential transformer-based models in these domains andsubsequently classify them based on their respective tasks using a proposedtaxonomy. Our aim is to shed light on the existing potential and futurepossibilities of transformers for enthusiastic researchers, thus contributingto the broader understanding of this groundbreaking technology.

    Translation (by gpt-3.5-turbo)

• Transformerは、シーケンシャルデータ内の文脈関係を理解するためにセルフアテンションメカニズムを使用するディープニューラルネットワークです。 従来のニューラルネットワークやLong Short-Term Memory（LSTM）などの更新されたバージョンの再帰型ニューラルネットワーク（RNN）とは異なり、Transformerモデルは入力シーケンス要素間の長い依存関係を処理するのに優れており、並列処理を可能にします。 その結果、Transformerベースのモデルは、自然言語処理（NLP）のタスクだけでなく、コンピュータビジョン、オーディオおよび音声処理、ヘルスケア、モノのインターネット（IoT）など、さまざまなドメインでの顕著な成果とともに、研究者の間で大きな関心を集めています。 特定の分野でのTransformerの貢献、アーキテクチャの違い、パフォーマンス評価を強調したいくつかの調査論文が発表されていますが、さまざまなドメインでの主要な応用を包括的に調査した包括的な調査論文の不足がまだ大きな問題となっています。 そのため、私たちは2017年から2022年までの提案されたTransformerモデルの包括的な調査を実施することで、このギャップを埋めるという課題に取り組みました。 私たちの調査では、Transformerベースのモデルのトップ5の応用ドメイン（NLP、コンピュータビジョン、マルチモダリティ、オーディオおよび音声処理、信号処理）を特定し、これらのドメインで高い影響力を持つTransformerベースのモデルの影響を分析し、提案されたタクソノミーを使用してそれらを各タスクに分類します。 私たちの目的は、熱心な研究者に対してTransformerの既存の可能性と将来の可能性を明らかにし、この画期的な技術の広範な理解に貢献することです。

  Summary (by gpt-3.5-turbo)

• Transformerモデルは、セルフアテンションメカニズムを使用して文脈関係を理解するためのディープニューラルネットワークであり、長い依存関係を処理することができます。このモデルは、自然言語処理だけでなく、他のさまざまなドメインでも注目されています。しかし、さまざまなドメインでのTransformerの応用に関する包括的な調査はまだ不足しています。そこで、私たちは提案されたTransformerモデルの包括的な調査を行い、その応用ドメインと影響を分析しました。私たちの目的は、研究者に対してTransformerの可能性を明らかにし、この技術の理解を広めることです。

[AkihikoWatanabe]

Transformerに関する最新サーベイ論文。Transformerが利用されているアプリケーションと、モデルのリストが列挙されている。