A General Framework for Debiasing in CTR Prediction

[nogawanogawa]

論文URL

https://arxiv.org/abs/2112.02767

著者

Wenjie Chu, Shen Li, Chao Chen, Longfei Xu, Hengbin Cui, Kaikui Liu

会議

-(preprint)

背景

CTR予測は推薦システム等でよく使用されるタスクである。 このタスクでは、アイテムが表示される位置に影響を受けるポジションバイアスが発生することが知られている。

ポジションバイアスに対する対処として一般的なのは、ポジションに関する特徴とそれ以外を分離し、それらの積で確率を算出する物となっている。 しかしこの仮定は単純化されすぎている。

目的

既存のCTR予測に使用されている、観測確率 * 嗜好確率の単純化されすぎた仮定を補正する

アプローチ

• ポジションバイアスに対する別の方法で対応する

3つのモジュールに分けていて、

• Relevance Module: ユーザーとアイテムの間の関連性を推定
• Bias Module: 表示位置・その他バイアスによる影響を推定(2*2の行列で表現)
• combined module : 上記2つを組み合わせ

これらを組み合わせて使用する。 モデルの構成は基本的には全結合層とソフトマックスで構成され、Combinedでは行列-ベクトル積で結果を計算するようになっている。

また、Constraint Lossを

のように設定。

ひとことメモ

• アリババの論文
• CTR = 観測確率 * 嗜好確率という仮定、流石に雑すぎでは？という論文

[nogawanogawa]

背景

CTR予測は推薦システム等でよく使用されるタスクである。 このタスクでは、アイテムが表示される位置に影響を受けるポジションバイアスが発生することが知られている。

ポジションバイアスに対する対処として一般的なのは、ポジションに関する特徴とそれ以外を分離し、それらの積で確率を算出する物となっている。

第1項が検査確率、第2項が検査されたアイテムがクリックされるかを表しており、第1項は通常posだけに依存する形に変形して使用される。

しかしこの仮定は単純化されすぎている。 特に観測されていないアイテムが検査される場合、大まかに4つのシナリオが考えられる。

観測した、関係のあるアイテムをクリック	観測した、無関係のアイテムをクリック
観測していない、関係のあるアイテムをクリック	観測していない、無関係のアイテムをクリック

既存の手法では、このうち上2つしか考慮できていない。

[nogawanogawa]

目的

既存のCTR予測に使用されている、観測確率 * 嗜好確率の単純化されすぎた仮定を補正する

アプローチ

• ポジションバイアスに対する別の方法で対応する

[nogawanogawa]

手法

3つのモジュールに分けていて、

• Relevance Module: ユーザーとアイテムの間の関連性を推定
• Bias Module: 表示位置・その他バイアスによる影響を推定(2*2の行列で表現)
• combined module : 上記2つを組み合わせ

これらを組み合わせて使用する。 モデルの構成は基本的には全結合層とソフトマックスで構成され、Combinedでは行列-ベクトル積で結果を計算するようになっている。

また、Constraint Lossを

のように設定している。

[nogawanogawa]

評価

異なる5パターンのクリックに関するシミュレーションデータを使用したAUCを比較した。

• S1 - S4 ：偏りが位置のみに依存する
• S5: 位置と文書自体に依存する

結果としては、S1でおおよそ比較対象（PAL）と同程度、S2-S4で性能が優れている。 S5より、文書を考慮した場合AUCは比較対象より優れている。

オンライン

実際にオンラインテストで実験もした。

userセグメント毎に既存手法よりどれだけ優れているかを表している。

FCRは大きいほど、YRは小さいほど良い指標。

従来使用してた手法よりA/Bテストの結果もよかったとのこと。