[2024/07/03] Machine Learning 輪講

chimuichimu commented 4 months ago

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. #252

What

話したいことがある人はここにコメントしましょう！面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

KKaichi commented 4 months ago

【頑張って読みたい】Fake Resume Attacks: Data Poisoning on Online Job Platforms

Michiharu Yamashita, Thanh Tran, Dongwon Lee
World Wide Web' 24
オンラインの専門的な求人プラットフォーム（LinkedinやIndeedなど）におけるデータ汚染攻撃（Data Poisoning attacks）はほとんど知られていない
この研究では、初めてオンライン求人プラットフォームにおける求職者と企業のマッチングというHRラスクに見られる重大な着尺性を示す
以下の三つの攻撃シナリオを実証している　(1)企業昇格攻撃（company promotion attack）: 特定の企業が推薦される可能性を高める攻撃　(2)企業降格攻撃（company demotion attack）: 特定の企業が推薦される可能性を低下させる攻撃　(3)ユーザ昇格攻撃（user promotion attack）：特定のユーザが特定の企業にマッチングされる可能性を高める
データ汚染を通じてシステマティックな予測エラーを誘発するFRANCISという「フェイク履歴書」生成フレームワークを開発。
実験により、データ汚染攻撃が求職者と企業のマッチングの結果を顕著に歪めることが明らかとなった。　- 基盤となるモデルに関わらず、データ汚染の強度に比例して脆弱性が増幅される
フレームワークのコードはこちらのURLから： https://github.com/mickeymst/FRANCIS

【感想】ハッカーが怖いなと思った出来事が最近起きたため、割と身近なのかもしれない。 nihira_memo

Hayashi-Yudai commented 4 months ago

GPT4Rec: Graph Prompt Tuning for Streaming Recommendation

※ GPT(=Generative Pretrained Transformer)は関係ない

ストリーミングデータに対してグラフモデルを使って推薦をする方法に関する論文。

注目した課題：
- 今までもリアルタイムで新しいデータが追加される状況でのグラフ推薦モデルという文脈での手法はあったが、新しい情報が追加されるたびにグラフを拡張したり層を増やしたりといった対処をすることが多く、以下のような点で課題があった
  - 追加学習のコスト
  - モデルの拡張と catastrophic forgetting のトレードオフ
どうやって解決したか：
- プロンプト(ベクトル)を介して新しい情報を加えて、グラフの焦点を更新するイメージ(?)
  - (よくわからなかった)
- User-User, Item-Item, User-Itemなど関係性に応じてグラフを分割することで、モデルをアップデートしたときの影響範囲を制限
結果：
- 複数のデータセットで精度を比較、baselineをnDCG@20で最大5 %ほど上回る結果が得られた
- 学習にかかる時間が他のモデルと比べて短く、低コストで追加データへの適用が可能であることが示された

chimuichimu commented 4 months ago

Interact with the Explanations: Causal Debiased Explainable Recommendation System

推薦されたアイテムと推薦の説明に対してユーザーからのフィードバックを得ることで、人気バイアスの軽減と推薦精度の向上を実現した論文

Journal / Conference

WSDM `24

Background

popularity bias などのバイアスは推薦されるアイテムに偏りを与える
ユーザーからのフィードバック、特に説明に対するものを活用して推薦のバイアスを軽減したい

Method

ユーザーからのアイテムに対するフィードバックと、生成された説明に対するフィードバックをもとに、推薦モデル（Item Ranking）と推薦の説明モデル（Explanation Generation）を改善していくフレームワーク赤枠の、マッチング（m）が説明モデルの媒介変数になっていて、説明（e）が推薦モデルの媒介変数になっているところが多分キモ（が、これがなんでバイアス軽減にどう寄与しているのか理解できてない...）

Result

推薦精度の向上とバイアスの軽減に加え、人間による評価で生成された説明の改善を確認

wantedly / machine-learning-round-table