hakubishin3 commented 1 year ago

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. https://github.com/wantedly/machine-learning-round-table/issues/154

What

話したいことがある人はここにコメントしましょう！面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

hakubishin3 commented 1 year ago

Debiased Explainable Pairwise Ranking from Implicit Feedback

https://dl.acm.org/doi/abs/10.1145/3460231.3474274

説明性が高く、かつExposure biasを考慮したUnbiased EBPR (Explainable Pairwise Ranking) を提案している。説明性に関しては、ペアワイズの学習時にユーザの両アイテムに対する説明可能性の大きさで重み付けることで、ランキング上位に説明可能性の高いアイテムが位置することが期待される。

zerebom commented 1 year ago

dounut: OCR-free Document Understanding Transformer

Ref

pdf
github

概要

NAVERの論文@ ECCV2022
画像からどんな情報が書かれているか理解するVDC(Visual Document Understanding)のタスクは、従来OCR→後続のタスクと複数のタスクに切り分けることで実現してきた
ただし、上記手法では以下のような欠点がある
- 複数タスクを解くので計算コストが大きい
- OCRの精度が十分でないと、後続のタスクの精度が落ちる
これを解決するために、E2EでVDCを解くアーキテクチャ(dount)を考案
従来のアーキテクチャに比べシンプルかつ、速度も精度も既存のものより良い
また独自の人工データ生成機構(SynthDoG)を使ってPretrainすることで、精度を押し上げている

タスク概要↓

アーキテクチャ

Encoder
- SwinTransformerを使って画像をEmbにする
Decoder
- pre-trained multi-lingual BART model を使う
Model Input
- Teacher Forcing schemaを用いる。promptを与える。
Output Conversion
- [START*],[Value], [END*], ...のようなトークンを使って、Json形式を構築する

結果

以下3つのサブタスクでどれも高い性能を発揮
- Document Classification
- document IE
- Document Visual Question Answering

nogawanogawa commented 1 year ago

Towards Deep and Representation Learning for Talent Search at LinkedIn

論文URL

https://arxiv.org/abs/1809.06473

著者

Rohan Ramanath, Hakan Inan, Gungor Polatkan, Bo Hu, Qi Guo, Cagri Ozcaglar, Xianren Wu, Krishnaram Kenthapadi, Sahin Cem Geyik

会議

CIKM 2018

背景

現状の検索モデルの課題認識

GBDTベースの問題
- 離散的特徴のembeddingを使用することがあるが、一般にそれは特徴とモデルの合同学習が必要になるが、木モデルは特徴そのものを学習することを想定していない
- スキル、会社、メンバ、など、非常に素な特徴空間では木モデルはうまく動かない
- 新しい損失関数を使用したり、目的関数を他の項で補強したりすることはGBDTモデルで行うことは容易ではない
検索クエリの多様性
- LinkedInで標準化されているスキルだけでも数万あるが、別のエンティティであっても関連することが考えられる
- 構文的特徴でどうにかするのではなく低次元のEmbeddingを使用して実際の意味を表現するほうが効果的と考えられる

目的

非常に疎になる検索クエリの特徴空間をうまく表現し、多様な検索クエリの中にある意味的な関連性を活用する

アプローチ

深層学習モデルを導入し、表現学習モデルを適用
- 人材検索領域内の疎なエンティティの意味的表現を学習
- LinkedIn Economic Graphを活用したニューラルネットワークモデルを利用

memo

https://github.com/nogawanogawa/paper_memo/issues/50

wantedly / machine-learning-round-table

[2022/08/18]Machine Learning 輪講 #156

Why