nogawanogawa commented 10 months ago

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

What

話したいことがある人はここにコメントしましょう！面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

zerebom commented 9 months ago

解説記事
MicrosoftのTransformerを後継版をRetNetの論文
- Low-Cost inference, Strong Performance, Training Parallelismの3方良しのアーキテクチャとのこと. 3.4倍のメモリー削減, 8.4倍のスループット, 15.6倍のレイテンシを達成
RNNのInference CostとMemory ComplexityとTransformersのいいとこ取りをしている
下記の2つの要素が特に革新的
- multi-head attentionをmulti-scale retentionに置き換えたこと
- 3つの計算パラダイムで並列化したこと
  - Parallel representation
  - Recurrent representation
  - Chunk-wise recurrent representation
zerebomが拾えた箇所をいくつかPickup
- Transformer内のSoftMaxはとても重いが、シーケンスによって注意する箇所を変更できる機能を持ち、これが精度改善に繋がっている
- RetNetでは、直近のSequentialのほうがWeightが大きいだろうという仮定の元、PosEncodingに置き換えることで精度改善が見込めた
- PosEncodingは複素数平面としてみれば、位置と距離を表現できる(?
- Softmaxを取り除くことで、Transformerの非線形性が失われるので、GroupNormを追加

nogawanogawa commented 9 months ago

Jimmy Lin, Ronak Pradeep, Tommaso Teofili, Jasper Xian

（なし）

昨今のNNの検索への応用は、最近ではembeddingによって表現される表現学習に焦点が当てられている。

現在では、embeddingを用いた検索には多数のembeddingを管理する必要があり、ベクトルデータベースが必要といった主張も少なくない。

現在広く普及しているLuceneベースの検索エコシステムは、表現学習の最近のトレンドへの適応が遅れているかもしれないが、一方で大きな投資を行っており、今後ベクトルデータベースなしで検索にembeddingに組み込む際の機能的な差分は見当たらない。

このように、embeddingを用いた検索は有望であるが、そのためにベクトルデータベースが必要であるということにはならない。

追加のベクトルデータベースなしでembedding検索が十分実用的であることを示す。