AkihikoWatanabe
commented
2 weeks ago Applications of large-scale knowledge graphs in the e-commerce platforms can improve shopping experience for their customers. While existing e-commerce knowledge graphs (KGs) integrate a large volume of concepts or product attributes, they fail to discover user intentions, leaving the gap with how people think, behave, and interact with surrounding world. In this work, we present COSMO, a scalable system to mine user-centric commonsense knowledge from massive behaviors and construct industry-scale knowledge graphs to empower diverse online services. In particular, we describe a pipeline for collecting high-quality seed knowledge assertions that are distilled from large language models (LLMs) and further re-fined by critic classifiers trained over human-in-the-loop annotated data. Since those generations may not always align with human preferences and contain noises, we then describe how we adopt instruction tuning to finetune an efficient language model (COSMO-LM) for faithful e-commerce commonsense knowledge generation at scale. COSMO-LM effectively expands our knowledge graph to 18 major categories at Amazon, producing millions of high-quality knowledge with only 30k annotated instructions. Finally COSMO has been deployed in Amazon search applications such as search navigation. Both offline and online A/B experiments demonstrate our proposed system achieves significant improvement. Further-more, these experiments highlight the immense potential of commonsense knowledge extracted from instruction-finetuned large language models.
Translation (by gpt-4o-mini)
- 大規模な知識グラフのeコマースプラットフォームへの応用は、顧客のショッピング体験を向上させることができます。既存のeコマース知識グラフ（KG）は、大量の概念や製品属性を統合していますが、ユーザーの意図を発見することには失敗しており、人々がどのように考え、行動し、周囲の世界と相互作用するかとのギャップを残しています。本研究では、COSMOを提案します。これは、大規模な行動からユーザー中心の常識知識をマイニングし、さまざまなオンラインサービスを強化するための業界規模の知識グラフを構築するためのスケーラブルなシステムです。特に、私たちは、大規模言語モデル（LLMs）から抽出された高品質なシード知識主張を収集するためのパイプラインを説明し、さらに人間による注釈データで訓練された批判的分類器によって洗練されます。これらの生成物は必ずしも人間の好みに一致せず、ノイズを含む可能性があるため、次に、効率的な言語モデル（COSMO-LM）を忠実なeコマース常識知識生成のためにファインチューニングするために指示チューニングを採用する方法を説明します。COSMO-LMは、Amazonの18の主要カテゴリにわたって知識グラフを効果的に拡張し、わずか30,000の注釈付き指示で数百万の高品質な知識を生成します。最後に、COSMOは検索ナビゲーションなどのAmazon検索アプリケーションに展開されています。オフラインおよびオンラインのA/B実験の両方が、提案したシステムが顕著な改善を達成することを示しています。さらに、これらの実験は、指示ファインチューニングされた大規模言語モデルから抽出された常識知識の巨大な可能性を強調しています。
Summary (by gpt-4o-mini)
- COSMOは、eコマースプラットフォーム向けにユーザー中心の常識知識をマイニングするためのスケーラブルな知識グラフシステムです。大規模言語モデルから抽出した高品質な知識を用い、指示チューニングによってファインチューニングされたCOSMO-LMは、Amazonの主要カテゴリにわたって数百万の知識を生成します。実験により、COSMOが検索ナビゲーションなどで顕著な改善を達成することが示され、常識知識の活用の可能性が強調されています。
https://www.amazon.science/publications/cosmo-a-large-scale-e-commerce-common-sense-knowledge-generation-and-serving-system-at-amazon