Personalized Recommendations for Experiences Using Deep Learning

[masatakashiwagi]

Personalized Recommendations for Experiences Using Deep Learning

• Authors: Tripadvisor

• Link: https://www.tripadvisor.com/engineering/personalized-recommendations-for-experiences-using-deep-learning/

• Date:

どのようなもの？

• トリップアドバイザーにおいて，ユーザーの閲覧履歴と深層学習を利用して，ウェブサイト上でパーソナライズされたお勧め商品を生成する方法について

議論はあるか？

次に読むべき記事は？

備考

• おまけ
• https://www.tripadvisor.com/engineering/improving-sem-landing-page-quality-for-our-experiences-business/

[masatakashiwagi]

Background

• 利用可能な体験の数や種類が急速に増加したため，その中からユーザーにパーソナライズされたサービスを提供することで，ユーザーの満足度を大幅に向上させる必要性が出てきた

• まず，既存のアイテムベースの協調フィルタリングモデルを導入した．ページビューに基づくアイテム間のコサイン類似度を使用してユーザーが閲覧したすべてのアイテムとの類似度の合計が最も高いアイテムをレコメンド．
  • 結果は良いものだったので，次のステップとして，高品質なアイテムやユーザの表現を用いれば，より良い結果が得られると考えた

[masatakashiwagi]

Approach

Training Data Collection

• データの収集として，「Check availability」ボタンをクリックしたユーザーや体験を予約したユーザーのページビューとページアクションのログを収集した
  • これは”Check availability”がトリップアドバイザーの予約プロセスにおけるステップの1つであるため，これがユーザーの興味のシグナルと捉える

• 上図の場合の学習データは2パターン
  • (Exp A) -> Exp B (Check Availability)
  • (Exp A, Exp B, POI C) -> Exp D (Booking)
  • Bookingまで行き着いたデータのweightは高くしている

Entity Embeddings

• エンティティのプールには，興味の対象（Point of Interests, 例: Eiffel Tower）と予約可能な体験（例: Eiffel Tower Priority Access Ticket with Host）が含まれている
  • エンティティの位置情報とカテゴリー情報を非常によくエンコードしている
• レコメンドモデルでは，事前に学習した重みで埋め込みベクトルを初期化しタスクに合わせて微調整している．実験では，この初期化方式がランダムな初期化よりも優れていることがわかった
• memo:
  • 記事とか質問からキーワードを抽出して興味トピックを抽出してベクトル化することも有効そうな感じがする

Recommended Model Architecture

• 問題設定: 「ユーザーの閲覧履歴をもとに，そのユーザーが次に何に興味を持つかどうかを予測する」
• ユーザーの閲覧履歴を，100次元のitem Embeddingsの加重平均（recency）で集計し，2層のFC層を経て，最終的に64,000のクラス確率をSoftmaxで出力する
  • より直近の行動履歴が予測に影響を与える
• LSTM層を入れたが改善は見られなかったので，リアルタイムでの予測速度を向上させるために上述のモデルにした
• Softmaxの前の層でニューロンの数を増やすと，さらに精度が向上するが，予測速度が悪化する
• memo:
  • 閲覧履歴から最終的により時間をかけて見ているコンテンツを予測するみたいなタスクにする？
  • ユニット数とか層の数を増やすと精度上がる系は他の論文でも述べられてるけど，大体が予測速度上がったりモデルの学習時間とのトレードオフでやめてる感じ，レコメンドや実務的な面で精度が高ければ良いというものでもない

Implementation

• 事前に学習したEmbeddingsの重みを数回のエポックでフリーズさせて，より小さい学習率でフリーズを解除してファインチューニングを行っている→transfer learning

[masatakashiwagi]

Result

Offline Evaluation

• 学習に使用した期間の次の2週間分のデータを含むデータセットで評価した
• 評価指標:
  • MRR（mean reciprocal rank）: レコメンドされた中から上位10件の結果を取得した
  • Precision@4
• 下図の結果はベースラインに対する改善率を示す
  • ベースライン: アイテムベースの協調フィルタリングモデル

Online A/B test

• Control group: 協調フィルタリングモデル
• Treatment group: DNNベースのモデル
• ユーザーエンゲージメントとコンバージョンのメトリクスで統計的に有意な結果

Example Output

• パリで‘food, wine & cooking class’の体験をいくつか閲覧したユーザーに対するレコメンド結果の例

[masatakashiwagi]

Conclusion

• 今後の取り組みについて
  1. 特徴量の追加
     • 価格帯（予算に応じた体験と豪華な体験）・カテゴリーの好み（子供向けとアウトドアアドベンチャー）
  2. より多くのユーザーアクションを取り入れる
     • 現状は興味のある場所や体験に関するアクションのみを使用しているが，ホテル・レンタカー・フライト・レストランなどに関するユーザーの行動を取り入れる
  3. ユーザーのコンテキスト
     • デバイス・ユーザーの言語・旅行者が目的地にいるかどうかなど
• memo:
  • このモデルだと特徴量を追加しやすいのも利点の1つだなーと思う
  • Matrix FactorzationはExplicit Feedbackな問題設定（Ratingをつける）に対して適用するのが良いし実際にそうで，今回のDNNのモデルみたくユーザー行動の履歴からレコメンドすべきか予測するImplicit Feedbackな問題設定の方で考えた方が，よりユーザー行動を反映した特徴量なりを考えて追加したりすることでモデルの精度を上げれる感覚がある
    • 使い分けが見えてきた気がする...

[masatakashiwagi]

おまけ

→Improving SEM Landing Page Quality for our Experiences Business

Training Data

• ユーザーがどのキーワードをクリックしてサイトに来たのか，どのページでインタラクトしたのか，サイト内でどの商品を見て，クリックして，購入したのかをデータとして収集している
• 問題設定: キーワードが与えられた時に，購入される可能性が最も高い商品を予測する
• 特徴量:
  • Geo ID，キーワード用語のWord2vec Embeddings，アカウント情報などいくつかのキーワード固有の特徴量
  • キーワードと商品のマッピングは二部グラフを形成しているため，そのグラフをキーワード空間に写像してグラフベースのクラスタリングを行い別の特徴量を作る

Model

• 高次元のカテゴリー特徴量をEmbeddingsした後に，低次元のone-hot encodingしたカテゴリー特徴量や連続値の特徴量を平坦化して結合している