[2022/10/20]推薦・機械学習勉強会

zerebom commented 1 year ago

Why

推薦・機械学習勉強会は、推薦や機械学習、その周辺技術を通じてサービスを改善することにモチベーションのある人達の集まりです。ニュースやブログから論文まで、気になったものについてお互い共有しましょう！

発信のため、ここは public にしてあります。外部からの参加をご希望の方は樋口(https://twitter.com/zerebom_3) まで DM を送るか、Wantedly Visit の募集（https://www.wantedly.com/projects/391912）よりご連絡ください！

Wantedly では隔週木曜日に

といった話をする「推薦・機械学習勉強会」を開催しています。この ISSUE はその会で話すネタを共有するための場所です。

話したいことがある人はここにコメントしましょう！会の間に話した内容もここにメモしましょう！

prev: #164

hakubishin3 commented 1 year ago

広告の必要性とユーザに影響を与えてしまう難しさを説明した上で、どうすればユーザの体験と広告による収益を両立できるかの指針を紹介している。広告だけでなく推薦や検索などのユーザにコンテンツを届けるシステムにおいても通じるものがあって面白い。

広告がユーザに与える影響
- 広告を出すこと自体が検索能力を下げてしまう
- 過剰な広告によりユーザが離脱する
- 低品質な広告によりユーザの満足度と購買意図を下げる
ユーザ体験と収益の両方を両立する指針
- 楽しくする ... 遊び心のある広告 ex)広告ゲーム、インタラクティブな広告
- 文脈を考慮する ... 目的やユーザのコンテキストに応じて広告を出すタイミングを決める
- 押し付けがましくない ... 広告とコンテンツのバランスを取るなど
- 受け手の立場に立つ ... 広告量や広告に対するユーザの好みを考慮する、コンテンツの質を上げるのも重要
- 誠実でいる ... 高品質な広告は記事と誤認してしまう、透明性のあるターゲティングなど

Hayashi-Yudai commented 1 year ago

自然言語処理において、単語とembeddingを1対1で対応させようとすると必要なメモリ量が膨大になるので、ハッシュを活用することによってメモリ上に持つ必要があるembedding tableを圧縮することができるという話。

floretというライブラリはfastTextでこの手法を使えるように拡張したもので、学習済みモデルの大きさがかなり小さくなっているらしい。

単語数よりも次元の小さいembeddingテーブルを作って単語を対応させようとすると必ず衝突が起こるが、各単語についてテーブルへ対応させるためのキーを複数作って、それらのキーに対応するベクトルの和がembeddingになるとすれば衝突は防げるというアイデア。

# 普通の対応
embedding = table[get_word_id(word)]

# Bloom embedding
embedding = table[get_hash(word, seed=0)] + table[get_hash(word, seed=1)]

zerebom commented 1 year ago

メルペイにおけるMLシステムの品質保証の取り組み紹介記事。

そもそも品質とは、ユーザ・社会・メルカリなど、それぞれの立場よって求めているものが変わってくる。そういった多くの要求があることを意識した上で、それに答えられるようなMLシステムを作成しているとのこと。

メルペイでは品質保証は、Data, Model, System, Othersに分けてそれぞれ取り組んでいるそう。例えば、ドキュメンテーションの整備に徹底するといった品質の継続性を保つカルチャーを醸成するなど、取り組みが多岐にわたっており参考になりました。

↑の記事にリンクされていた、メルペイのMLパイプライン解説記事。

モデルチェック用のデータ準備など意外とバグを仕組みやすい部分を自動化し、ワークフローに組み込むことで効率化・正確性を担保している。slackで評価用データが配信される、人でのチェックが済んだことをslackで通知すると後段のワークフローが動くなど、かなり徹底的に自動化しているなと感じました。