hakubishin3 commented 1 year ago

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. https://github.com/wantedly/machine-learning-round-table/issues/174

What

話したいことがある人はここにコメントしましょう！面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

hakubishin3 commented 1 year ago

Efficient Self-supervised Learning with Contextualized Target Representations for Vision, Speech and Language

https://github.com/facebookresearch/fairseq/tree/main/examples/data2vec

複数のモダリティを同一の仕組みでベクトル化するdata2vecのアップデート版（data2vec 2.0）

data2vecをベースに、マスクされた部分を計算しない、decoder を CNN に変えることによって高速に訓練できるようにしている。

また、同一サンプルのマスキングのパターンを変えた複数のサンプルを用意し訓練に使っている。従来のやり方（1サンプルにつき1パターンのマスキング）だと、1サンプルの学習1回につき教師と生徒の2回の推論を走らせる必要があって効率的でないから。せっかく重い教師モデルの推論をしたなら、その正解データを有効活用したいというモチベーション。

スクリーンショット 2022-12-22 2 16 20

Hayashi-Yudai commented 1 year ago

DGRec: Graph Neural Network for Recommendation with Diversified Embedding Generation

GNNを使って多様性を担保した推薦システムを作ったという論文。

Through an online A/B test, research [16] shows that the number of users’ engagements and the average time spent greatly benefit from diversifying the recommender systems.

↑のように、多様な推薦がされている場合にはユーザーの行動が活発化される事がわかっているので、多様な推薦はユーザー体験にとっても重要。一方で多様性と推薦の精度はトレードオフの関係にあるのでそこは上手くバランスを取る必要がある。

多様性のある推薦をするということを考えたときに、グラフ構造は使い勝手がいい。なぜならグラフのつながりを元にして高次のインタラクションも取り込めるから。

Method

モデル自体はこれまで考えられてきたGNNと対して変わらないものでLightGCNを基本構造として損失関数にBPR Lossを使っている。主にスコア付されたアイテムからtop-k のアイテムを推薦するときに多様性を考慮している。

N_uが候補のアイテムすべてで、S_uがその中から選択されたアイテム。選択されていないアイテムの中に、選択されたアイテムのカテゴリーに含まれないカテゴリーのものが存在するときにはこの関数は値が小さくなる。よってこれを最大化するように候補集合からアイテムを取ってくることで多様性を生み出すことができる。

また、人気のあるカテゴリーは少数に限定されるので、人気のあるアイテムばかりが推薦されると多様性が下がる。これを防ぐために、人気のあるカテゴリーに関係するロスはウェイトを下げるという方法が取られている。

Result

精度はstate-of-the-artではないが、多様性と精度のバランスが良く取れているという結果が得られている。同じ精度で比較したときに多様性が高く出来ている。

nogawanogawa commented 1 year ago

Greykite: Deploying Flexible Forecasting at Scale at LinkedIn

論文URL

https://dl.acm.org/doi/10.1145/3534678.3539165

著者

Reza Hosseini, Albert Chen, Kaixu Yang, Sayan Patra, Yi Su

会議

kdd 2022

背景

linkedinでは、施策やリソースの検討のため、時系列モデルを使用している。既存のツールでは、学習に時間がかかったり、ドメイン知識を柔軟に取り込んだり、結果を解釈したりするのを簡単に行うことが難しい。

目的

簡単に使える高速かつ柔軟にカスタム可能で、解釈可能な時系列モデリングの使用

アプローチ

Graykyte
- Silverkiteのアルゴリズムを使用
- 既存の手法より高速
- 解釈可能な形で時系列をモデリングする

memo

https://github.com/nogawanogawa/paper_memo/issues/69

参考

日本語記事

wantedly / machine-learning-round-table

[2022/12/22]Machine Learning 輪講 #176

Why