[2021/03/11]推薦・機械学習勉強会

[yu-ya4]

Why

推薦・機械学習勉強会は、推薦や機械学習、その周辺技術を通じてサービスを改善することにモチベーションのある人達の集まりです。ニュースやブログから論文まで、気になったものについてお互い共有しましょう！

発信のため、ここは public にしてあります。外部からの参加をご希望の方は松村(https://twitter.com/yu__ya4) まで DM を送るか、Wantedly Visit の募集（https://www.wantedly.com/projects/391912） よりご連絡ください！

What

Wantedly では隔週木曜日に

• 推薦の評価指標について議論したい
• 〇〇っていうライブラリ / フレームワークを導入してみたい
• 他社の基盤事例をみんなにシェアして自社の基盤開発に活かしたい
• もっと推薦を良くするためにどんなものが必要か議論したい

といった話をする「推薦・機械学習勉強会」を開催しています。 この ISSUE はその会で話すネタを共有するための場所です。

話したいことがある人はここにコメントしましょう！ 会の間に話した内容もここにメモしましょう！

prev: #88

[hakubishin3]

クエリ修正を考慮した検索評価指標sDCGを使ってユーザーの検索体験を監視をしたい

https://www.m3tech.blog/entry/sdcg

セッション単位で検索結果を評価するための指標 sDCG について実例込みで紹介されている. ユーザの行動に3つの仮定を置くことでクエリ修正による再検索をシンプルな形で評価できるようになっているのが面白いなって思ったけど, 普段使ってるnDCGとかもユーザの行動に仮定を置いているわけであんまり意識してないまま使うのよくないなーって思いました.

並列強化学習ライブラリ「HandyRL」

https://github.com/DeNA/HandyRL

Pytorch ベースのライブラリ. 中身をちゃんと見れていないけど, 強化学習を使うときのベースラインとして使えそうな設計になっているみたいで, Kaggle とかで機会あれば使いたい https://twitter.com/cute_na_piglets/status/1367476122661756928 .

Booking.com Challenge Accepted Papers

https://web.ec.tuwien.ac.at/webtour21/?page_id=27

ワークショップの時間: 3/12 19:00 - 23:00 (JST)

自己教師あり対照学習でpaletteから特徴ベクトルを得る

https://twitter.com/kaggle_araisan/status/1369615450594668544

Self-supervised Contrastive Learning を使った画像の特徴量抽出について紹介している. コンペ中なので Twitter のリンクを貼るだけに留める (これならセーフ...?）

Spotify’s New Experimentation Coordination Strategy

https://engineering.atspotify.com/2021/03/10/spotifys-new-experimentation-coordination-strategy/

Spotify の オンラインテスト用プラットフォームの話. 正直あんまよくわかっていない.

非排他的にならざるを得ない何百もの実験を効率的に回すために「Backet Reuse」を導入. ユーザをバケットにハッシュ化して, バケットを全ての実験のサンプリングで利用可能な状態にする (サンプリングはバケット単位で, 処理の割り当てはユーザ単位で) . 非排他的な対照実験でバケットを再利用している場合, Treatment Effect の推定量はこのバケットサンプリングの影響を受けない（なので, 普通に t 検定するだけでいいらしい）

[yu-ya4]

分類タスクにおけるクロスエントロピーとMSEの比較実験

『Evaluation of Neural Architectures Trained with Square Loss vs Cross-Entropy in Classification Tasks』 https://arxiv.org/abs/2006.07322

https://ai-scholar.tech/articles/deep-learning/closs-square

• 分類タスクではクロスエントロピーをロスに使うことが多いが、それが本当に良いのかを MSE をロスに使った場合との比較実験を通して検証している。
• NLP、音声認識、CV のいろいろなタスクで比較実験。
• 精度やロバスト性（シード変えて実験したときの結果の分散の小ささ）の観点で、MSE が同等以上の性能を見せた。
• CV タスクにおいてはクロスエントロピーの方が良さそうだった。

データをテストする手法

『Dynamic Data Testing』 https://medium.com/anomalo-hq/dynamic-data-testing-f831435dba90

https://twitter.com/icoxfog417/status/1365930959305019394

組織のビジネス上の意思決定やプロダクトの変更などの内部要因や、ユーザの行動やマーケットの変化などの外部要因など様々なものからデータは影響を受ける。一方で、データは様々な重要な意思決定やプロダクトの価値提供に利用するため、できるだけ正しい状態を担保したい。データはソフトウェアとは性質が大きく異なるので、データならではのテストを行う必要がある。

データのテスト手法を以下のように分類して解説。実践したい。。。！

• Static testing
  • Fixed rules
  • 「このカラムは絶対に NULL にならない」
  • 「この文字列はこのパターンとマッチする」
  • Specified ranges
  • 「レコードの1-3% は値が 0 である」
  • 「このカラムの値の平均値は 13 から 16 の間である」
• Dynamic testing
  • Predicted ranges
  • 「平均値が予測した値の95%信頼区間に収まる」
  • Unsupervised detection
  • 異常検知

実践したい。。。！

Attention is not all you need

https://twitter.com/ImAI_Eruel/status/1368766314194497539

『Attention is Not All You Need: Pure Attention Loses Rank Doubly Exponentially with Depth』 https://arxiv.org/abs/2103.03404

何もワカラン。読んでない。

数学系小ネタ

関係ない小ネタだけど面白かったので紹介。笑

『任意の自然数nについて2^n>n』の証明選手権 https://twitter.com/mathlava/status/1369233140783357953

2 が 3 よりも小さいことの証明。 https://twitter.com/ayoiyouyoeyo/status/1369268616391061505

行列の積 https://twitter.com/potetoichiro/status/1366881305472868355

[hiroto0227]

Top 50 matplotlib Visualizations – The Master Plots (with full python code)

https://www.machinelearningplus.com/plots/top-50-matplotlib-visualizations-the-master-plots-python/ matplotlibとseabornによる情報を伝えるためのグラフについての記事。グラフの完成度が高く、code snipetもついてきて参考になる。細かなテクニックが紹介されていて面白い

• encircling: グラフ上の範囲を指定してPolygonを描く。
• scatter plotにregressionした曲線をかく。 <- 使用用途が少なそう。
• stripplot: 同じ範囲にデータが被ってしまう時に、少しずらして描く。
• joyplotというパッケージがある。 カテゴリごとに、複数の分布を簡単に可視化することができる。
• statsmodels.tsa.seasonal.seasonal_decompose と組み合わせて、数行で時系列plotを行っている。
• 時系列ごとにY軸が2軸ある時はmatplotlibで行おうとすると苦戦していたので、参考になる。(No. 41)
• githubの草みたいなグラフも登場している。(Calendar Heat Map)

推薦アイテムセットの多様性を考慮したBPR論文を実装・実験した - エムスリーテックブログ

https://www.m3tech.blog/entry/2020/03/03/180000 「Bayesian Personalized Ranking for Novelty Enhancement」について日本語でまとめていて、実際にシュミレーションを行っている記事。

• モチベーションとしては、M3はニュース記事の配信を行っていて、時期によっては似たような記事が集中的に投稿される時期が存在する。これはユーザーに同じメルマガを配信してしまうので問題があるため、多様性のある推薦を行いたいということである。
• 推薦itemセットを変えることで、多様性を改善しつつ各評価指標の値は変化をさせずに、多様性を向上させている。
  • クリックしたものに対して距離が近いものだけをNegativeなものとして扱う。 -> 距離が遠い負例がデータセットに入ることを防ぐ。
  • このデータセットをそのまま使用すると、評価指標に悪影響が生まれる可能性があるので、確率的にこのデータセットを使用している。

[yu-ya4]

DEIM2021 でそういえばしゃべった

『会社訪問アプリ「Wantedly Visit」のデータで見る相互推薦システム』 https://speakerdeck.com/yuya4/deim2021-rrs-wantedly-visit

2021年3月2日 DEIM2021 (https://db-event.jpn.org/deim2021/) における技術報告の資料です。

[F21] 情報検索・情報推薦④　3月2日 10:00 ～ 11:40 https://cms.deim-forum.org/deim2021/program/?oral#/F21

会社訪問アプリ「Wantedly Visit」の実データを用いて、相互推薦システムの既存手法の評価実験を行った上で、出てきた課題に対する改善手法を提案して評価実験を行いその有用性を検証しました