Personalized Recommendations for Experiences Using Deep Learning

世界最大の旅行サイトであるトリップアドバイザーは、何十億人ものユーザーが世界中の旅行を調査、予約、レビューするためのプラットフォームを提供しています。当社の体験ビジネスは、エバーグレーズのカヌーレンタルからエッフェル塔の入場券まで、16万件以上の予約可能な体験のコレクションを旅行者に提供しています。急成長を続けるユーザーと商品のスペースは、私たちにとって大きな課題となっています。今回のブログ記事では、当社が新たに開発した「Recommended For You」（RFY）モデルが、ユーザーの閲覧履歴とディープラーニングを利用して、ウェブサイト上でパーソナライズされたレコメンドを生成する方法を説明します。このモデルはすでに本番でテストされており、ユーザーのエンゲージメントと予約の増加を実証しています。

Background

トリップアドバイザーで利用できる体験の数と種類がここ数年で急速に増加しているため、ユーザーのためにパーソナライズされた推薦を提供する必要があることが明らかになりました。パーソナライズされたウェブサイトは、旅行者が自分に関連する体験を簡単に見つける方法を提供することで、ユーザーの満足度を大幅に向上させることができます。典型的なパーソナライズされたアプリケーションの一つは、以下に示すように、当社の「Things To Do」ページのRFYシェルフです。私たちは迅速な対応を信条としているため、まず、ページビューに基づくアイテム間のコサイン類似度を利用した既存のアイテムベースのコラボレーションフィルタリングモデルのパーソナライズ版を導入することから始めました。これをパーソナライズするために、ユーザーが閲覧したすべてのアイテムとの類似度が最も高いアイテムを推奨しました。このことから、より強力な機械学習モデルを構築するために、より多くの時間と技術的な努力を投資する価値があることが示唆されました。特に、教師付き学習と高品質のアイテムとユーザーの表現を用いることで、より良い結果が得られると考えました。

Approach

我々は、ビジネス目標を具体的なデータサイエンスの問題に変換しました：ユーザーの閲覧履歴を与えられ、ユーザーが次に興味を持つ体験を予測する。我々はここで、モデルの3つの主要なコンポーネントを説明します：データ収集、エンティティエンベッディング、ニューラルネットワークアーキテクチャ。

Training Data Collection

教師付き学習設定でモデルを訓練するために、「空室状況の確認」ボタンをクリックしたり、体験を予約したりしたユーザーのページビューとページアクションのログを収集しました。空室状況の確認」はトリップアドバイザーの予約プロセスの一つです。ユーザーは、カートに追加してチェックアウトする前に、エクスペリエンスの「空き状況の確認」ボタンをクリックする必要があります。私たちはこれをユーザーの興味のシグナルとして使用しています。

下の図は、当サイトのユーザーの旅のイラストです。予約可能な体験に加えて、旅行者が役立つ情報やレビューを見つけることができる「Point of Interest」ページが多数あることに注目してください。例えば、「Camp Nou」は下の例の「Point of Interest」ページの表示です。当社の新しいRFYモデルでは、これらのページビューも考慮に入れています。

この4つのエンティティのシーケンスは、我々のトレーニングデータでは2つのサンプルに分解されます。

(Exp A) -> Exp B (可用性の確認)
(Exp A, Exp B, POI C) → Exp D (予約) 我々のトレーニングデータには、'check availability'と'booking'の両方が含まれています。そして、予約のサンプルをより高いウェイトで割り当てます。ウェイトは調整可能なハイパーパラメータです。

Entity Embeddings

単語埋め込みは、自然言語処理において、単語のベクトル表現を学習するための一般的な手法である。導入されて以来，アイテムやユーザの表現を学習するアプローチとして，レコメンデーションなどの他の領域にも応用されてきた．我々のモデルでは、各エンティティを同じ埋め込み空間内の100次元ベクトルとして表現する。我々のエンティティのプールには、Point of Interests (例：エッフェル塔)と予約可能なExperience (例：エッフェル塔優先入場券withホスト)が含まれている。最初に、Facebook AI ResearchのStarSpaceパッケージを使用して、ページビューログ上で汎用エンベッディングの事前学習を行います。事前に学習されたエンベッディングは、エンティティの位置情報やカテゴリ情報を非常によくエンコードしています。これらのエンベッディングに基づいて構築された機能は、ソートオーダーやランディングページのレコメンデーションなど、他の下流のタスクによって消費されます。RFYモデルでは、事前に訓練された重みで埋め込みベクトルを初期化し、タスク用に微調整します。我々の実験では、この初期化スキームがランダム初期化よりも優れていることがわかった。

RFY Model Architecture

RFYモデルのアーキテクチャは下図のようになります。100次元のアイテム埋め込みの再帰加重平均を取ることでユーザーの閲覧履歴を集約し、2つの完全に接続されたレイヤーで64,000クラスの確率を最終的にソフトマックス出力し、それぞれが推奨できる体験に対応します。

指数回帰加重平均式を用いて、ユーザーの閲覧履歴を集計しています。

これは、最新の閲覧データが次の行動の予測に最も貢献しているという我々の仮定と一致している。オフラインでの評価では、再帰平均を用いた集約アプローチがナイーブ平均よりも有意に優れていることがわかりました。また、エンベッディングを結合するためにLSTMレイヤーをプラグインすることも試みましたが、オフラインでのメトリクスでは再帰加重平均アプローチと比較して改善は見られませんでした。結果として、よりシンプルなアーキテクチャを採用し、リアルタイムでの予測速度を向上させました。また、ソフトマックスの前に層のニューロンの数を増やすと、より良い精度が得られることに気付きました。しかし、これでは予測が大幅に遅くなってしまいます。512ニューロン層は、速度と精度の最終的な妥協点です。

Result Analysis

Offline Evaluation

トレーニングに使用した期間に続く2週間分のデータを含むデータセットで、オフラインで新しいRFYモデルを評価しました。ランキング指標は、我々が生成した上位のレコメンデーションについて計算した。MRR（平均相互順位）については、レコメンダーからトップ10の結果を取得した。新しいRFYモデルは、ベースラインの項目間コサイン類似度モデルを大差で上回りました。ここでは、項目間のベースラインに対する改善率を報告します。

Online A/B test

システムを評価するために、オンラインA/Bテストを実施しました。治療グループのユーザーは新しいRFYモデルで構成されたRFYシェルフを見、対照グループのユーザーは余弦類似性モデルで構成されたRFYシェルフを見ました。ユーザーのエンゲージメントとコンバージョンの指標に統計的に有意な改善が見られました。

Example Output

以下は、パリでいくつかの「料理、ワイン、料理教室」の体験を閲覧したユーザーに対するパーソナライズされたレコメンドの例です。ご覧のように、RFYモデルは、特定のカテゴリーに対するユーザーの好みを見事に捉えています。この情報は、ユーザーが探索する可能性のある新しい場所で使用することができます。

Implementation Details

当社のエンベッディングの事前トレーニングフェーズは、StarSpaceパッケージを使用して毎月実施しています。特に、'PageSpace'モデルタイプを使用し、我々のページビューログを用いてトレーニングを行う。
私たちのRFYモデルの実装はPytorchで行われています。我々は転送学習のベストプラクティスに従っており、最初に事前に学習された埋め込み重みを数エポックの間フリーズさせ、その後、微調整のためにより小さな学習率でフリーズを解除します。モデルの訓練は、当社独自のデータサイエンスプラットフォーム上で毎週行われます。
モデルの予測はリアルタイムで行われます。当社のデータサイエンスエンジニアによって構築されたマイクロサービスは、入力データを受信して前処理を行い、Pytorchモデルを介してフォワードパスを実行し、スコアに基づいて分割とソートを行い、結果をフロントエンドに返します。当社のサービスは、リアルタイムのレイテンシーを軽減するために、速度を完全に最適化しています。技術的な実装の詳細については、追ってブログ記事にする予定です。

Conclusion

今回のブログ記事では、トリップアドバイザー上の体験談のパーソナライズされたレコメンドを生成するために、データサイエンスチームが構築した機械学習モデルを紹介しました。従来のアイテムベースのコサイン類似度モデルと比較して、アイテムの埋め込みとディープラーニングを利用した新開発のモデルは、オフラインのランキング指標とオンラインのビジネス指標の両方で大幅な改善を示しています。今後の展開としては、パーソナライゼーション戦略の改善とユーザー満足度の向上のために、以下のような点に注力していく予定です。

価格帯（手頃な価格帯と贅沢な体験）、カテゴリー別の好み（子供向けとアウトドアアドベンチャー）など、より多くの機能を導入する。これにより、ユーザーをよりよく表現することができます。
トリップアドバイザーのプラットフォーム全体からより多くのユーザーアクションを取り入れる。現在は「興味・関心のポイント」と「体験」に関連したアクションのみを利用しています。今後は、ホテル、レンタル、フライト、レストランなどのユーザーのアクションを活用していきたいと考えています。
私たちは、デバイス、ユーザーの言語、旅行者が目的地にいるかどうかなど、ユーザーのコンテクストに応じて、パーソナライズパイプラインをより敏感にしたいと考えています。

このプロジェクトに貢献してくれたレンタル＆エクスペリエンスズのデータサイエンス、データサイエンスプラットフォームエンジニアリング、レベニューマネジメント、フロントエンドエンジニアリングチームの皆様、ありがとうございました! このタイプの仕事に興味のある方は、この記事の下にコメントを書くか、私たちに連絡してください。また、多くのチームで優秀な人材を募集しています。

takapy0210 / paper