search

knok / arxiv-memo

My arxiv papers memo
0 stars 0 forks source link

RoFormer: Enhanced Transformer with Rotary Position Embedding #88

Open knok opened 3 years ago

knok commented 3 years ago

Jianlin Su, Yu Lu, Shengfeng Pan, Bo Wen, Yunfeng Liu

Zhuiyi Technology Co., Ltd.

https://arxiv.org/abs/2104.09864v1

概要

Positional Encodingを改良したRotary Position Embedding (RPoE)を提案。 image 絶対位置と相対位置をうまくエンコードし、任意のシーケンス長に拡張可能とのこと。 長いテキストをうまく扱えることを実験的にも実証。

実装 https://github.com/ZhuiyiTechnology/roformer