[2020/10/10] 論文読み会

takapy0210 commented 4 years ago

論文やテックブログの記事を中心に互いに興味のある技術領域について知識を共有するゆるめの会です。個々人の知識を縦横に広げてレベルアップをするのが目的です。

Main contents

takapy0210 commented 4 years ago

Airbnbでの宿泊ランキングのためのDNNを改善した話
下記の4つ（A, B, C, D）に分けてアプローチをとった
- Architecture: Can we structure the DNN in a way that allows us to better represent guest preference?
- Bias: Can we eliminate some of the systematic biases that exist in the past data?
- Cold start: Can we correct for the disadvantage new listings face given they lack historical data?
- Diversity of search results: Can we avoid the majority preference in past data from overwhelming the results of the future?
結果的にどのアプローチでもA/Bテストで効果が出た

予約するかどうかは価格に依存する傾向にあり、実際に予約された物件の中央値は、検索結果の中央値よりも低いことがわかった。（価格が低い場所に泊まりがち）このことは、より低価格のリスティングを表示することで、予約数の向上に繋がりそうだと思われたが、DNNのランク付け結果に価格ベースの降格を明示的に適用すると、予約の減少につながった。
そこで、「安い方が良い」という直感を捨てて、旅行に最適なリストを予測するためのアーキテクチャが必要だと考え、下記のようなアーキテクチャを構築した。
- このアーキテクチャは2つのネットワークを使用しています。
- 1つ目のNNは、クエリとユーザーの特徴から、旅行の理想的なリスティングを予測する。（理想的なリスティングをどうやって推定しているのかはちょっと分からなかった）
- 2つ目のタワーは、生のリスティングの特徴をベクトルに変換する。
- 予約済みのリスティングは理想のリスティングに近づき、予約されていないリスティングは理想のリスティングから遠ざかるように、学習する。
- A/Bテストしたところ、予約を+0.6%増加させることができた。
- メトリックラーニングとか使っているのかな？

検索結果の上位に表示される物件は、それだけで予約される可能性が高くなる。これにより、以前のモデルで上位にランクされていたリスティングが将来的にも上位を維持し続けるというフィードバックループが生まれ、たとえゲストの好みとずれている可能性があったとしても、その位置を維持し続ける可能性がでてきてしまう。
下の図は、リスティングの品質とは無関係に、クリック数がランキングの順位によってどのように減衰していくかを表している
このバイアスに対処するために、DNNに位置情報を追加した。位置に依存しすぎないように、ドロップアウト率と一緒に導入し、訓練中に15%の確率で位置特徴を0に設定する。これによりDNNは位置とリスティングの品質の両方がユーザーの予約行動に与える影響を学習することができる。（らしい・・・が、どんな構造になっているかまではこの記事には載っていなかった）
位置の偏りを補正することで、A/Bテストでの予約が+0.7%増加した。

すべての新規リスティングに対してグローバルなデフォルト値を単純に使用するのではなく、新規リスティングのエンゲージメントデータをより正確に推定する方法を開発した。この方法では、地理的な場所と容量（宿の広さかな）によって測定された類似のリストを考慮し、それらのリストからのデータを集約して、新しいリストのパフォーマンスをより正確に推定した。
これによりA/Bテストでは、新規リスティングの予約が14%増加し、全体の予約が0.4%増加しました。
- 宿泊先の場所と広さが似ている宿のセットを複数パターン用意しておいて、それらを何回か試して、そのリストと類似しているリスティングをすればコンバージョンがあがるって話なのかな

ここまでの取り組みで、リスティングのランキングはかなり最適できたが、多様性がなかった。ランキング上位の結果の多くは、価格や立地などの重要な属性において類似しているように見え、多様性があるとは言えなかった。一般的に、多様性は冗長ではなく、利用可能ないろんな選択肢をユーザーに提示することでより良いユーザー体験に貢献することができる。
これを解決するためにリカレントニューラルネットワーク（RNN）をアーキテクチャに追加した。このクエリコンテキストの埋め込みは、入力リストの再ランク付けに使用される。（ここあんまり分からなかった）
これにより検索結果の多様性が向上し、オンラインA/Bテストでは+0.4%のグローバルな予約獲得につながったことがわかりました。

KDDで発表した下記論文を読むともう少し詳しいことが分かりそう
- Improving Deep Learning for Airbnb Search（ニューラルネットワークアーキテクチャの詳細、位置バイアスとコールドスタートに取り組んだ論文）
- Managing Diversity in Airbnb Search（検索結果の多様性を改善するために使用した手法についての論文）

AIrbnbでは、予約された宿泊先の90%以上が検索流入みたい（Netflixとは真逆だな）
- そもそもロケーションにかなり依存すると思うので、一度検索するのは当たり前？か
ターゲットをABCDで分割して、それぞれに対してアプローチしていくの良さそう
- 施策がちゃんと効果的だったかどうか分かりやすいから
こういう記事とか論文読んでも、ソースコードがないと自分で実装できるかかなり怪しいので、理論をコードに落とし込む力を付けていかないとな（汗）

shyaginuma commented 4 years ago