[2021/11/18]推薦・機械学習勉強会

Why

推薦・機械学習勉強会は、推薦や機械学習、その周辺技術を通じてサービスを改善することにモチベーションのある人達の集まりです。ニュースやブログから論文まで、気になったものについてお互い共有しましょう！

発信のため、ここは public にしてあります。外部からの参加をご希望の方は松村(https://twitter.com/yu__ya4) まで DM を送るか、Wantedly Visit の募集（https://www.wantedly.com/projects/391912）よりご連絡ください！

What

Wantedly では隔週木曜日に

推薦の評価指標について議論したい
〇〇っていうライブラリ / フレームワークを導入してみたい
他社の基盤事例をみんなにシェアして自社の基盤開発に活かしたい
もっと推薦を良くするためにどんなものが必要か議論したい

といった話をする「推薦・機械学習勉強会」を開催しています。この ISSUE はその会で話すネタを共有するための場所です。

話したいことがある人はここにコメントしましょう！会の間に話した内容もここにメモしましょう！

prev: #117

クックパッドマートの多種多様な商品名から、扱いやすい「食材キーワード」を予測する

クックパッドマートで出品者から登録される商品名や商品説明から、食材キーワード候補を予測するモデルの紹介記事。 ex) メークイーン、じゃが芋、馬鈴薯 → ジャガイモ

データセットのサイズの割に食材キーワードの種類数が多い、商品名に商品キーワードと近い言葉が含まれているため、食材キーワードをラベルとせず、商品名・キーワードの距離を学習するモデルにした。

メリット

fasttextは他の単語との共起性に基づいて作られるので、表記揺れを吸収できる
学習データに含まれていないキーワードでもある程度妥当な距離を計算できる

デメリット

推論速度
ハブネス問題

ROC 曲線とAUC を用いて2値分類機械学習モデルの性能を計測・チューニングする

roc曲線の詳細な解説。true/negative itemの予測値の分布とroc曲線の対応関係がいくつも載っていてわかりやすいです。

RecBole を用いてクックパッドマートのデータに対する50以上のレコメンドモデルの実験をしてみた

50以上の推薦モデルを統一インターフェースから学習・推論できるRecBoleを使って、クックパッドのデータセットを学習・予測した記事。 RecBoleの形式にデータを整えるのはちょっとめんどくさそうだけど、同じ実装で複数モデルを一度に評価できるのは相当便利そうです👀 。

ニュース記事の品質と広告効果の関係についてCIKM2021で発表を行いました

今回の論文の知見は、品質の高い記事をユーザーに優先的に配信することが、ユーザーの広告消費を促進した点です。

今まで、品質の高い記事を提示することは、基本的に記事のクリック率などが低下し、サービスへの導入メリットが薄いと考えられていました。そのため、記事品質を担保するような仕組みを推薦システムに組むことができていませんでした。しかし、広告の消費においてはポジティブな側面がある、ということを初めて明らかにし、その貢献が学会にも認められ short-paper として受理されました。

データ分析と機械学習開発の協業によるスタンプ推薦ロジックの継続的改善

売上が良くても、さらにimpressionとの比率から良し悪しを判断しているのは面白いと思った。何より動画が公開されていてありがたいと思った。

ウォンテッドリーにおける推薦システム開発

静岡大学の授業で話す機会をいただいたので、ウォンテッドリーにおいてどのように推薦システムを開発しているのかについて事例とともに紹介した。キラキラした事例紹介ではなく、泥臭い問題解決のフローについて紹介して学生の方々にリアルな現場を感じてもらった。

『ウォンテッドリーにおける推薦システム開発事例』 https://speakerdeck.com/yuya4/recsys-in-wantedly-2021

LINE におけるDSとMLエンジニアが協力して進めるプロダクト開発事例

『データ分析と機械学習開発の協業によるスタンプ推薦ロジックの継続的改善 - 2021』

https://www.youtube.com/watch?v=2CXnZl3JPGI https://linedevday.linecorp.com/2021/ja/sessions/79/

MLエンジニアとデータサイエンティストの協業
- ML エンジニアが高度な技術に基づいて開発したモデルを
- データサイエンティストが事業全体の視点から検証し改善点をフィードバックする。
LINE スタンプの「あなたにおすすめ」機能の役割は変化した。
- これまで
  - スタンプに興味がある人は全員スタンプショップに訪れる必要があった。
  - ユーザの嗜好を広く浅くとらえたシンプルなレコメンドで、全体的な購買を最大化
- 現在
  - スタンプへの接点が「あなたにおすすめ」以外にも多岐に渡る（e.g. LINE のホーム画面など）
  - 「あなたにおすすめ」を閲覧するユーザは、スタンプを買うモチベーションが高い能動的なユーザ
  - 今まで以上にユーザの嗜好を深く捉えた多種多様なレコメンドが求められる。
AB テストでの評価指標
- 「あなたにおすすめ」経由だけではなくスタンプショップ全体の売上
  - １経路がよくなったが他が悪化して全体が下がることを防止
- メジャーなスタンプとマイナーなスタンプで分けた売上
  - マイナースタンプの売上が向上すれば多様性が増加したと判断
初回のテストリリースで全体売上とマイナースタンプの売り上げが向上したが、impression（表示回数）の伸びに対して売上の伸びが悪かった。
- レコメンド結果を分析する中で、スタンプの特徴が過度に抽象化されているのではないかという仮説が出てきた。
  - e.g. 「大阪弁のスタンプ」を「方言のスタンプ」と抽象化して学習して、違う方言のスタンプをレコメンドするが購入されない → 「大阪弁のスタンプ」として学習されるべきではないか？
- シンプルなネットワーク構造にすることで、特徴量の抽象化の度合いを抑制する変更
改善したモデルで再度テストリリースしたところ、impressiono の伸びに対する売上の伸びのギャップは改善され、売上の伸び自体も伸びた。

最強の検索エンジン

https://twitter.com/youdotcom/status/1458522632219856899

https://www.producthunt.com/stories/there-s-no-better-time-to-start-a-new-search-engine-by-richard-socher

It keeps the bulk of search traffic to itself — nearly 65% of searches worldwide (on desktop and mobile combined) in the fourth quarter of 2020 were "zero-click," ending without that traffic going to another website, according to a SimilarWeb study.

検索結果の65%がユーザにクリックされていない（"zero-click"）現状を変えるために最強の検索エンジン "YOU"を作るぜ。

https://you.com/