Should I send this notification? Optimizing push notifications decision making by modeling the future

[nogawanogawa]

論文URL

https://arxiv.org/abs/2202.08812

著者

Conor O'Brien, Huasen Wu, Shaodan Zhai, Dalin Guo, Wenzhe Shi, Jonathan J Hunt

会議

-preprint

背景

プッシュ通知は、モバイル・デバイス上でコンテンツが消費されるための重要な方法であり、ユーザーは自分に関連する可能性のあるコンテンツについての通知を受け取ることになる、 このような通知は、ユーザが積極的に情報を求めていないときに発生する。 ユーザーは特定のアプリケーションを開くことによって積極的に求めるコンテンツと比較して、無関係な通知や気が散る通知に対して耐性が低い可能性があり、体験を悪化させる恐れがある。

このようなPush通知は体験悪化を招くのがある程度の未来の話であるため、近視眼的な推薦システムにおいては常にPush通知を送信するというポリシーになってしまい、多くの場合これは見過ごされてしまう。 この問題に対して、多くの場合ヒューリスティックに対応することがあるが、これは最適とは言えないことが多い。

目的

長期的価値(LTV)を考慮したPush通知ポリシーを設定することでエンゲージメントを高める

アプローチ

• モデルベースの強化学習（RL）アプローチを用いた通知戦略
  • 過去に送信された通知のログデータから、将来的にユーザの行動が通知によってどのように影響されるかというモデルを構築する

ひとことメモ

Push通知を送るべきかどうかに関するTwitterの論文。 多分2023年の主要会議で発表されるんじゃなかろうか。

[nogawanogawa]

背景

現代の推薦システムは、ユーザーからのフィードバックを使用してユーザーがコンテンツに相互作用する確率など、ユーザーの即時的な反応を予測するために使用されている。 このアプローチは、近視眼的であり、将来のユーザーや推薦システム自体に対する影響を考慮していない。

プッシュ通知は、モバイル・デバイス上でコンテンツが消費されるための重要な方法であり、ユーザーは自分に関連する可能性のあるコンテンツについての通知を受け取ることになる、 このような通知は、ユーザが積極的に情報を求めていないときに発生する。 ユーザーは特定のアプリケーションを開くことによって積極的に求めるコンテンツと比較して、無関係な通知や気が散る通知に対して耐性が低い可能性があり、体験を悪化させる恐れがある。

このようなPush通知は体験悪化を招くのがある程度の未来の話であるため、近視眼的な推薦システムにおいては常にPush通知を送信するというポリシーになってしまい、多くの場合これは見過ごされてしまう。 この問題に対して、多くの場合ヒューリスティックに対応することがあるが、これは最適とは言えないことが多い。

[nogawanogawa]

目的

長期的価値(LTV)を考慮したPush通知ポリシーを設定することでエンゲージメントを高める

アプローチ

• モデルベースの強化学習（RL）アプローチを用いた通知戦略
  • 過去に送信された通知のログデータから、将来的にユーザの行動が通知によってどのように影響されるかというモデルを構築する

[nogawanogawa]

問題設定

通知対象選定アルゴリズム

Twitterでは、通知する内容は定期的にユーザーを巡回し、送信候補を収集後ランキング付けを行うことで決定しています。 このとき、通知を送るかどうかを決定する𝜋(𝑢,𝑥)が今回の焦点となる。

送信量制限

既存のシステムには１日に送信できる通知量に制限があったが、いくつかの実験で送信料制限を上昇させた。

あるユーザーはある速報に興味があり、このイベントへの興味を示す文脈上の情報に基づいて、今日は多くの通知を受け取りたいと考えていることがある。 しかし、別の日にはもっと少ない数の通知を受け取りたいと思うかもしれない。 固定された上限ではなく、より文脈に即した判断をすることで、このようなユーザーのニーズをよりよく解決できる可能性がある。

目的関数

y: ユーザーが通知を開いたか γ: 将来の開封をどれだけ重く見るかを決定する割引係数

全ユーザーの割引開封を最大化するポリシー π = max J(π) を得ることを考える

[nogawanogawa]

提案手法

baseline

提案手法の比較対象となるbaselineとして

1. すべてPush通知を送信
2. ヒューリスティック(発見的)アプローチ
   • 予測された開封率がしきい値kを超えているかどうかで送信するかどうかを決定する

の２つが広く用いられている。

強化学習

ヒューリスティックアプローチの大きな問題は、

• 追加で考慮したい信号を導入するのが難しい
• システムの大きな変更があったとしてもしきい値が長期間変更されない
• LTVを最適化するとは限らない

が挙げられる。

これに対して提案手法では、通知の送信時系列に対して、開封されたかどうかのログデータを使用して推定する。 時系列の前半・後半に分けて推定を行う。

• c: ユーザータイプ
• s: ログデータの後半で、何回連続で通知を開封しているか
• p: 経験的な開封率

前半では、経験的な開封率pを算出する。 後半ではストリークsを使用して係数fを推定する。

横軸をストリーク（未開封のストリークはマイナスを表表している)、縦軸は与えられた（ユーザータイプ、ストリーク）ペアで観察された開封率が、同じユーザータイプのすべてのユーザーの平均からユーザーのベースライン開封率からどれだけ逸脱しているかを示す。(a)

ユーザー層ごとに違いはあれど、ストリークがポジティブに遷移するほどy軸が高くなることを示す。 これにベルマン方程式によって、ストリークと開封の相関関係について補正を行って最終的に使用している（b）

[nogawanogawa]

評価

RLが提案手法で、フィルタリングを行わなかった場合に比べて送信量が減っている。 また、開封率は上がっている。 DAUは、実験した中で最大値ではbaselineよりも高くなっており、reachabilityについても向上しているので、提案手法は有用としている。