hakubishin3 commented 2 years ago

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. #129

What

話したいことがある人はここにコメントしましょう！面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

hakubishin3 commented 2 years ago

Visual Appearance of Display Ads and Its Effect on Click Through Rate

https://dl.acm.org/doi/10.1145/2396761.2396826

広告画像の特徴とCTRの関係を調査した論文。

画像の特徴はCTRの大きさと相関していることを示し、CTRに大きく影響している特徴の抽出も行うことで効果的なクリエイティブの開発に寄与できる。

impression 数が 100K 以上ある広告のみを対象としており、これによってCTRに影響するであろう画像特徴以外の要因（例えば、広告の属性やそれを見るユーザの属性）に偏りがないことを保証させている。アルゴリズムで出し分けしているのであれば結構偏り出そうと思ったが実際どうなんだろう。

Hayashi-Yudai commented 2 years ago

PURS: Personalized Unexpected Recommender System for Improving User Satisfaction

https://arxiv.org/abs/2106.02771

https://github.com/lpworld/PURS

推薦のunexpectednessとサービスのメトリクスを両立させることで推薦の質を向上させようとした論文

Pain

協調フィルタリングだと似たような推薦ばかりが並んでユーザーを退屈させる

over-specialization
filter-bubbles: 知的隔離
user boredom

近年の推薦システムではユーザーを満足させるために”unexpectedness”を重要視するように傾向が変化してきたが、実際にサービスとして投入までされている成功例は多くない。

unexpectednessを追求すると、CTRやGMV(Gross-Merchandice-Volume)を損なう
スケーラビリティが失われる

必ずしもunexpectednessを求めるユーザーばかりではない

Solution

Personalized Unexpected Recommender System

ユーザーの興味をクラスターとして捉える
- unexpectednessをend-to-endにscalableな形で導入
- Mean Shift algorithm
sequential model とself attentiion mechanism によってユーザーの unexpected をどの程度求めるのかを推測する
unxepectednessに対する新しい活性化関数を提案
CTRとの両立

Detail

モデル

指標

r_{u, i} : CTR

Result

アリババで実戦投入して結果が出てるらしい

zerebom commented 2 years ago

Introducing StylEx: A New Approach for Visual Explanation of Classifiers

Googleの論文。

分類に重要な画像内のコンポーネントを自動で抽出 → 各コンポーネントの値を変えて、画像と分類確率の変化を照らし合わせ、どのコンポーネントが分類に寄与しているか示唆を得られるパイプライン(StylEx)を考案。

Introduction

NNで、ある画像のどの信号がクラス識別に寄与したかを解釈するのは難しい
- NNに説明性を付与すると、医療画像診断・自動運転などで役に立つ
既存の視覚的解釈手法は以下の点が惜しい
- Attention map(eg. GradCam)
  - 説明: どこが分類に寄与したかをheatmapで表示する
  - cons: 領域内のどの属性が分類結果を決定したかを説明できない(形?, 色?)
- smoothly transforming(GANalyze)
  - 説明: 2つの画像間を滑らかに補完する
  - cons: 全ての属性を一度に変えてしまう
本手法(StylEx)
- Pros
  - 分類器に影響を与える属性を自動的に発見し、視覚化できる
  - 個々の属性を個別に操作することで、影響を探れる
  - 動物・葉っぱ・顔・網膜画像など、広い領域に適用できる
- 実用例
  - 犬と猫を分類するとき、分離された属性を検出し、分類確率にどう影響を与えるかを理解する
    - 犬は猫よりも口を開けていることが多い
    - 耳は折れていることが少ない

Method

本手法(StylEx)の構築方法

Phase 1: Training StylEx
- StyleGAN2には学習過程で”StyleSpace”と呼ばれる潜在空間を作り、そこに画像の意味情報を保持している
  - 従来のStyleGANは分類に依存しないので、そのSpaceが分類に必要な特徴を捉えていない可能性がある
  - GANのコンポーネントに分類器を足すことで、分類固有の属性をSpaceに収容するように促す
- 足すコンポーネントはふたつ
  1. Encoder
    1. GANとともにreconstruction lossを使って学習する
    2. ↑だけでは特定の分類器にとって重要な微妙な視覚的詳細(網膜の病気など、視覚的には大したことがない差でも分類にとって重要な特徴)は捉えられない
  2. Classifier
    1. 入力画像と出力画像の分類器確率が同じになるように学習する
Phase 2: Extracting Disentangled Attributes
- StyleSpaceを探索し、分類器に大きな影響を与える属性を探す
  - StypeSpaceの各座標を操作し、分類確率への影響を測定する
  - 画像の分類確率変化を最大化するような上位の属性を探す
  - このプロセスをクラスごとに繰り返すことで、クラス固有の属性を変化する
  - ↑で分類器が特定のクラスについて何を学習したかを知ることができる

nogawanogawa commented 2 years ago

DeepFM: A Factorization-Machine based Neural Network for CTR Prediction

論文URL

https://arxiv.org/abs/1703.04247

著者

Huifeng Guo, Ruiming Tang, Yunming Ye, Zhenguo Li, Xiuqiang He

会議

IJICAI2017

背景

一般にユーザーのクリック行動の背後にある特徴の相互作用は低次〜高次のものが使用され、それらを同時に考慮することでどちらか一方を考慮するより高い性能を発揮することができるとされている。しかし、この特徴量の相互作用を効果的にモデリングすることは非常に難しい。 FMなどでは、原理的には高次の特徴量の相互作用を考慮可能であるが、実際には2次の相互作用のみが考慮される。

目的

低次・高次の特徴量相互作用を考慮した、学習モデルを導出する

アプローチ

DeepFM
- FMのような低次の特徴量の相互作用とDNNのような高次の特徴量の相互作用を同時に考慮
- Wide & Deep モデル（先行研究）と違い、高次と低次の特徴量相互作用の入力に同じ入力（埋め込みを使用）

memo

https://github.com/nogawanogawa/paper_memo/issues/28

wantedly / machine-learning-round-table

[2022/02/17]Machine Learning 輪講 #131

Why