Long-range Language Modeling with Self-retrieval

[tma15]

https://arxiv.org/pdf/2306.13421.pdf

概要

学習時から言語モデルに検索器を結合して処理する手法を提案。 このようなアプローチは以前からあったが、検索して得られた事例と推論対象事例の間の関係性をトークンレベルでモデル化するためにcross attentionを利用していること、また検索モデルの学習では表層的な情報ではLMでスコア付されたチャンクがより上位にランクされるように学習する。