nogawanogawa commented 7 months ago

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. https://github.com/wantedly/machine-learning-round-table/issues/240

What

話したいことがある人はここにコメントしましょう！面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

Hayashi-Yudai commented 7 months ago

A Sequential Recommendation Model for Balancing Long‑ and Short‑Term Benefts

sequential recommendationにおいて、長期的なユーザーの行動と短期的な行動の両方を取り込むことによってモデルの性能を改善したという論文。

chimuichimu commented 7 months ago

Product Quantization: Compressing high-dimensional vectors by 97%

背景

ベクトル検索では高次元のベクトルを大量に扱う必要があり、インデックスのサイズが大きくなってメモリの問題が発生しがち

Product Quantization (PQ) とは

ベクトルの情報圧縮の技術の一つ
以下の手順でベクトルを圧縮する
- 圧縮対象のベクトルを準備
- ベクトルを複数のサブベクトルに分割
- 各サブベクトルに centroid をアサイン
- centroidの値をIDに置き換える
これにより高次元ベクトルを低次元、かつint型のベクトルに置き換えることで、ベクトルの圧縮を実現している

メモリ削減の効果

ベクトル検索エンジンのFaissにはPQが実装されていて、faiss.IndexPQ として提供されている
Sift1M datasetのベクトルをこれでインデックス化すると、98.4%程度のメモリ削減になるとのこと

精度とのトレードオフ

メモリ削減と探索速度は向上するが、もちろん精度のトレードオフがある
記事中の実験ではRecallが100% -> 50%くらいになっている
ただここはサブベクトルの分割数や centroid 数といったパラメータで調整はできそう

nogawanogawa commented 7 months ago

LayoutLLM: Layout Instruction Tuning with Large Language Models for Document Understanding

論文URL

https://arxiv.org/abs/2404.05225

著者

Chuwei Luo, Yufan Shen, Zhaoqing Zhu, Qi Zheng, Zhi Yu, Cong Yao

会議

CVPR 2024

背景

文書のレイアウト情報が文書理解に不可欠であることは広く受け入れられているが、LLMに直接テキストを与えて文書レイアウト情報を伝達することは通常困難である。平坦化されたテキストか座標付きのテキストとして表現されることがあるが、平坦化はレイアウト情報を排除し、座標情報があったとしてもLLMがこのフォーマットを効果的に理解出来るとは限らない。

MLLM等を利用する動きもあるが、通常画像のキャプションなどに利用される関係で、文書のレイアウト情報を抽出することは一般的に困難になってる。

目的

文書レイアウトの理解度向上

アプローチ

LayoutLLM
- グローバルからローカルへの文書レイアウトについて3段階で事前学習
- LayoutCoT

memo

https://github.com/nogawanogawa/paper_memo/issues/110

wantedly / machine-learning-round-table

[2024/04/10] Machine Learning 輪講 #242

Why