[2022/04/21]推薦・機械学習勉強会

yu-ya4 commented 2 years ago

Why

推薦・機械学習勉強会は、推薦や機械学習、その周辺技術を通じてサービスを改善することにモチベーションのある人達の集まりです。ニュースやブログから論文まで、気になったものについてお互い共有しましょう！

発信のため、ここは public にしてあります。外部からの参加をご希望の方は松村(https://twitter.com/yu__ya4) まで DM を送るか、Wantedly Visit の募集（https://www.wantedly.com/projects/391912）よりご連絡ください！

Wantedly では隔週木曜日に

といった話をする「推薦・機械学習勉強会」を開催しています。この ISSUE はその会で話すネタを共有するための場所です。

話したいことがある人はここにコメントしましょう！会の間に話した内容もここにメモしましょう！

prev: #138

Hayashi-Yudai commented 2 years ago

ユーザーはpodcastを探すときに最適な検索ワードを知っているとは限らない。keyword/termマッチングではこのようなユースケースに対応できないので、Spotifyでは Semantic Searchを導入して人間と対話するように検索できるようにすることを目指している。

Spotifyではこれを実現するために

を利用している。

yu-ya4 commented 2 years ago

refs

『Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance』
- https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html
『PaLM: Scaling Language Modeling with Pathways』
- https://arxiv.org/abs/2204.02311

メモ

Google が大規模言語モデル PaLM(Pathways Language Model) を発表した。
- 540Bパラメタのトランシフォーマーベースのモデルで、複数の言語タスクにおいて fine-tuning なしの few-shot learning で SOTA を示す。
Pathways という仕組みを用いることで膨大な計算を効率的に行っている。
- We use 3072 TPU v4 chips in each Pod attached to 768 hosts
モデルのサイズに対して非連続な性能向上が見られるタスクいくつか見られた。
- →超巨大モデルになって初めて解けるようになる性質のタスクがあるということ？
論理的思考タスクにおいて Chain of thoughts という手法が有効らしく、これも採用されている。
- いきなり最後の答えを示すのでなく、その答えにたどり着くまでの考えを言語化したものも一緒に入力に入れる。
多言語タスクやソースコード生成タスクでも高い性能を示す。
この手の研究でよく話題になる、バイアスや有害な表現についての分析も記載（読めてない）

『The journey to build an explainable AI-driven recommendation system to help scale sales efficiency across LinkedIn』 https://engineering.linkedin.com/blog/2022/the-journey-to-build-an-explainable-ai-driven-recommendation-sys

LinkedIn において、顧客理解を深め顧客ごとの最適な提案を営業チームに提案する推薦システムが構築されている。（Job Matching の話と思って読んだら違うかった）
- 顧客ごとの状況を考慮した上で、対応すべき優先度を決めるためのスコアリングやそのソリューションを出力する仕組み(Project Account Prioritizer)
- どうしてそのようなスコア・優先順位となっているのかという説明性が求められた。