Open wisteria2gp opened 4 years ago
Transformerを時系列データ予測へ用いるための問題定義があったのでそれを記述します。
まず、以下の条件付き確率分布をモデリングすることが一般化された目的である。
ここで z{i,1:t}はi番目の変量の時刻1〜tの値を示す。したがって、この変数一つでは1xtのベクトルということになる。また、x{i,1:t}は全期間に渡って既知であるような、例えば時刻や曜日などの変数のベクトルを示す。最後にφはモデルのパラメタである。
ただし、本論文では簡単のため、予測するのは1step先のみとしている。 そして、変数列については以下のように整形する
そして次の式を満たすような関数を作成することで確率分布を獲得する
一言でいうと
Transformerの時系列データ予測タスクをターゲットにした改善モデルの提案
論文リンク
https://arxiv.org/abs/1907.00235
著者/所属機関
Shiyang Li, Xiaoyong Jin, Yao Xuan, Xiyou Zhou, Wenhu Chen, Yu-Xiang Wang, Xifeng Yan
投稿日付(yyyy/MM/dd)
2019/06/29
概要
筆者らは、予備実験からTransformerには以下の2点の弱点があると述べている。
これらの弱点を解消するために以下の2つの改善手法を提案する。
※ちなみに確実にL^2 > L(logL)^2
新規性・差分
以下を主張している(Intro)
手法
入力の取り扱いとしては以下のように認識している。![EnhancingLocality解説用素材](https://user-images.githubusercontent.com/42165262/75934940-39d23d00-5ec1-11ea-9dc1-bb9d28ca65a6.jpg)
self-Attention において入力系列のトークン数がkだとすると、1つ1つのトークンについて、k個のトークンへの照会が発生するため、グラフとしてみればエッジ数k*kのグラフになる。しかし、このエッジには無駄が多いので、各トークンが自身に近いトークンを重視するようにエッジの枝刈りを行う、といった感じ。
結果
コメント
時系列データ向けのSimple Transformer API
実装チャレンジ中link