Hiformer: Heterogeneous Feature Interactions Learning with Transformers for Recommender Systems, Huan Gui+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2311.05884

  Affiliations

  • Huan Gui, N/A
  • Ruoxi Wang, N/A
  • Ke Yin, N/A
  • Long Jin, N/A
  • Maciej Kula, N/A
  • Taibai Xu, N/A
  • Lichan Hong, N/A
  • Ed H. Chi, N/A

    Abstract

  • Learning feature interaction is the critical backbone to building recommendersystems. In web-scale applications, learning feature interaction is extremelychallenging due to the sparse and large input feature space; meanwhile,manually crafting effective feature interactions is infeasible because of theexponential solution space. We propose to leverage a Transformer-basedarchitecture with attention layers to automatically capture featureinteractions. Transformer architectures have witnessed great success in manydomains, such as natural language processing and computer vision. However,there has not been much adoption of Transformer architecture for featureinteraction modeling in industry. We aim at closing the gap. We identify twokey challenges for applying the vanilla Transformer architecture to web-scalerecommender systems: (1) Transformer architecture fails to capture theheterogeneous feature interactions in the self-attention layer; (2) The servinglatency of Transformer architecture might be too high to be deployed inweb-scale recommender systems. We first propose a heterogeneous self-attentionlayer, which is a simple yet effective modification to the self-attention layerin Transformer, to take into account the heterogeneity of feature interactions.We then introduce \textsc{Hiformer} (\textbf{H}eterogeneous\textbf{I}nteraction Trans\textbf{former}) to further improve the modelexpressiveness. With low-rank approximation and model pruning, \hiformer enjoysfast inference for online deployment. Extensive offline experiment resultscorroborates the effectiveness and efficiency of the \textsc{Hiformer} model.We have successfully deployed the \textsc{Hiformer} model to a real world largescale App ranking model at Google Play, with significant improvement in keyengagement metrics (up to +2.66\%).

    Translation (by gpt-3.5-turbo)

• 特徴の相互作用を学ぶことは、レコメンダーシステムの重要な基盤です。ウェブスケールのアプリケーションでは、特徴の相互作用を学ぶことは非常に困難です。入力特徴空間が疎で大きいため、効果的な特徴の相互作用を手動で作成することは不可能です。私たちは、Transformerベースのアーキテクチャを活用して特徴の相互作用を自動的に捉えることを提案します。Transformerアーキテクチャは、自然言語処理やコンピュータビジョンなどの多くの領域で大きな成功を収めています。しかし、産業界ではTransformerアーキテクチャを特徴の相互作用モデリングにあまり採用していません。私たちはこのギャップを埋めることを目指しています。ウェブスケールのレコメンダーシステムにバニラのTransformerアーキテクチャを適用する際の2つの主要な課題を特定しました：(1) Transformerアーキテクチャは、自己注意層で異種の特徴の相互作用を捉えることができません。(2) Transformerアーキテクチャのサービングレイテンシは、ウェブスケールのレコメンダーシステムに展開するには高すぎる可能性があります。まず、Transformerの自己注意層に対して単純かつ効果的な修正である異種の自己注意層を提案し、特徴の相互作用の異種性を考慮に入れます。次に、\textsc{Hiformer}（\textbf{H}eterogeneous \textbf{I}nteraction Trans\textbf{former}）を紹介し、モデルの表現力をさらに向上させます。低ランク近似とモデルの剪定により、\hiformerはオンライン展開のための高速な推論を実現します。包括的なオフライン実験結果は、\textsc{Hiformer}モデルの効果と効率を裏付けています。私たちは\textsc{Hiformer}モデルをGoogle Playの実世界の大規模なアプリランキングモデルに成功裏に展開し、主要なエンゲージメントメトリックスを大幅に改善しました（最大+2.66\%）。

  Summary (by gpt-3.5-turbo)

• 特徴の相互作用を学ぶために、Transformerベースのアーキテクチャを提案する。ウェブスケールのレコメンダーシステムにおいて、特徴の相互作用を手動で作成することは困難であるため、自動的に捉える必要がある。しかし、現在のTransformerアーキテクチャは異種の特徴の相互作用を捉えることができず、サービングレイテンシも高い。そこで、異種の自己注意層を提案し、\textsc{Hiformer}というモデルを紹介する。\textsc{Hiformer}は特徴の相互作用の異種性を考慮し、低ランク近似とモデルの剪定により高速な推論を実現する。オフライン実験結果では、\textsc{Hiformer}モデルの効果と効率が示されており、Google Playの実世界の大規模なアプリランキングモデルにも展開され、主要なエンゲージメントメトリックスを改善した。

[AkihikoWatanabe]

推薦システムは、Factorization Machinesあたりから大抵の場合特徴量間の交互作用を頑張って捉えることで精度向上を目指す、という話をしてきている気がするが、これはTransformerを使って交互作用捉えられるようなモデルを考えました、という研究のようである。

self attention部分に工夫がなされており（提案手法は右端）、task tokenとそれぞれのfeatureをconcatしてQKVを求めることで、明示的に交互作用が生まれるような構造にしている。

[AkihikoWatanabe]

Online A/Bテストでも評価しており、HiformerによってSoTAな交互作用モデル（DCN）よりも高いユーザエンゲージメントを実現することが示されている。