chimuichimu
commented
2 months ago LLMを活用した大規模商品カテゴリ分類への取り組み
概要
LLMとkNNによる2ステージ構成の予測アルゴリズムで、30億を超える商品のカテゴリ分類を実現したメルカリの事例
背景
- メルカリは2024年に商品カテゴリをリニューアル。階層構造が変わり、カテゴリ数が大幅に増えた
- 新しいカテゴリで商品を分類したいが、過去データもなく膨大なカテゴリ数のため、教師あり学習やルールベースでの構築が困難
- -> LLMを活用できないか？
解決策
- LLMとkNNによる2ステージ構成の予測
- 1st: LLMによる一部商品のカテゴリ予測
- 過去の出品商品の数百万点をサンプリング
- ChatGPT 3.5 turboに正解カテゴリを予測させる
- 2nd: kNNによるカテゴリ予測
- 1stで作ったデータセットからkNNモデルを作成
- 入力
- 商品の商品名、商品説明文などを連結した文字列のembedding
- 出力
- 商品カテゴリ
- なぜ LLM だけでやらないのか？
- コストと処理時間が問題になるから（コスト -> 約100万ドル、処理時間 -> 1.9年という見積りだったらしい)
個人的に良いと思った点
- 様々な工夫でやりたいことを低コストで実現している
- Voyager による高速なベクトル検索
- cuDF / Numba による処理の高速化
Hayashi-Yudai
nogawanogawa
Why
推薦・機械学習勉強会は、推薦や機械学習、その周辺技術を通じてサービスを改善することにモチベーションのある人達の集まりです。ニュースやブログから論文まで、気になったものについてお互い共有しましょう！
発信のため、ここは public にしてあります。外部からの参加をご希望の方は合田/hakubishin3、角川/nogawanogawa、林/python_walker まで DM を送るか、Wantedly Visit の募集（https://www.wantedly.com/projects/391912） よりご連絡ください！
What
Wantedly では隔週水曜日に
といった話をする「推薦・機械学習勉強会」を開催しています。 この ISSUE はその会で話すネタを共有するための場所です。
話したいことがある人はここにコメントしましょう！ 会の間に話した内容もここにメモしましょう！
prev: https://github.com/wantedly/machine-learning-round-table/issues/241