[2020/07/16] Machine Learning 輪講

[agatan]

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. #56

What

話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

[hiroto0227]

Degenerate Feedback Loops in Recommender Systems

https://arxiv.org/pdf/1902.10730.pdf AIES 2019. DeepMind

• Recommendation SystemのPersonalizeをslow downさせることでecho chamberとfilter bubbleを解決する。
• echo chamber: 類似しているものを推薦に出し続けると、どんどん嗜好が推薦のものによってくること。
• filter bubbles: 推薦システムでは偏った推薦しか出せなくなってしまう。
• この二つの問題を防ぐために、すぐにユーザーにパーソナライズするのではなく、ランダムな探索も混ぜる必要があるという研究。

• Recommender Systemはシステムの内部状態、ユーザーのアイテムへの興味、clickしたかどうかによって決まる。ユーザーの興味がTime stepによってどれほど変わったかをシミュレーションする。

• Degeneracy speedが早いほどFilter Bubblingが起こりやすくなってしまうことがシミュレーションから分かった。

[zerebom]

Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild

src:https://arxiv.org/pdf/1911.11130.pdf

デモページ

Github repo

自分用詳しいまとめ

概要

CVPR 2020のBest Paper Award。著者はOxford大学の人。

画像を入力すると、Viewpoint(カメラ位置)/Depth map/Albedo(表面の光の反射)/Light(=撮影時の光)に分解するAutoEncoderを構築した。上記4要素を組み合わせて画像を再構築し、元画像との誤差を用いて学習する。

上記4要素の値をいじることで

• ３次元の構造モデルを出力
• 別視点の画像出力
• 撮影光の位置変更 などが可能になる。

[yu-ya4]

SIGIR2020 の accepted paper が公開されたのでざっと眺めて読みたい気持ちのあるやつ書き出した

https://sigir.org/sigir2020/accepted-papers/

コールドスタート問題に対応する系が多かった印象を受けた。あと流行りの因果推論などによる bias 除去系。BERT 発展しました系もちょっとだけあった。あと Hash 多い。

• Measuring Recommendation Explanation Quality: The Conflicting Goals of Explanations
  • https://research.google/pubs/pub49170/
  • 推薦の説明には様々な目的がある。意思決定を早めたり、推薦を受けた人を説得したり。ある目的を達成する推薦の説明が他の目的を達成するとは限らない。ある推薦がある目的を達成しているかをロバストに測定する。異なる目的間の相互作用を明らかにする。
• How to Measure the Reproducibility of System-oriented IR Experiments
  • https://github.com/irgroup/sigir2020-measure-reproducibility
  • IR Systems の実験の再現性についての研究。実験の再現性を定量的に評価するための尺度について比較検討した。また、再現性ある実験を行うためのデータセットも作成した。github にコード公開。
• AR-CF: Augmenting Virtual Users and Items in Collaborative Filtering for Addressing Cold-Start Problems
  • まだ情報なし。面白そう。ユーザの行動ログを基に推薦を行う CF ではコールドスタート問題が大きな問題となるが、それに対応するために擬似ユーザやアイテムを作成する？
• Studying Product Competition Using Representation Learning
  • https://arxiv.org/abs/2005.10402
  • ブランドレベルではなくその製品レベルでの競争やマーケットの研究を行うことは有意義（これまではブランドレベルがほとんど？）ということで、ECサイト上の買い物かごを文書として word2vec した Product2Vec の提案。経済理論とか因果推論を用いて word2vec に改良を２つ加えた。1. 製品が他の製品と相補関係にあるのか代替可能な関係にあるのかという尺度を加えた。2. 価格弾力性を正確に推定するために、ランダム効用モデルを組み合わせて Product ベクトルから価格の情報を取り除いた（？）
• Try This Instead: Personalized and Interpretable Substitute Recommendation
  • https://arxiv.org/abs/2005.09344
  • アイテムベースの CF はユーザの好みを反映できていない（このアイテムを買う人はこれを買います）。推薦結果の解釈も難しい。パーソナライゼーションと解釈可能性の両方の観点から問題を解決するために、属性を考慮した協調フィルタリング(A2CF)を提案する。user-item 間の interaction データだけを用いる従来の CF とは違って、ユーザのレビュー情報からアイテム属性を抽出して利用することで、ユーザとアイテムの表現を学習する。これを用いて、item based の CF に対してパーソナライズ性を付与。また、ユーザが最も気にしているであろうアイテム属性（価格とか重さとか使いやすさとかそんなんかな？）を推定してあげて、それに基づいた推薦を行うことで解釈可能性を付与。
• How Dataset Characteristics Affect the Robustness of Collaborative Recommendation Models
  • https://yasdel.github.io/files/SIGIR20_Full.pdf
  • データやデータの特性がCFモデルに対するシリング攻撃の有効性に与える影響はについての研究。これまでは、推薦モデル自体や攻撃を受けたユーザに注目した研究だった。実験の結果、URM(評価マトリクス)の特性が CFモデルのロバスト性に大きな影響を与えることが示された。
• Learning Personalized Risk Preferences for Recommendation
  • https://arxiv.org/abs/2007.02478
  • ユーザごとのリスクに対する考えを考慮した推薦はこれまでなかったので考えた。評価スコアが高くレビューが良い商品はリスクが低い傾向にあり、評価スコアが低くレビューが悪い商品は購入のリスクが高い可能性がある。
• A Deep Recurrent Survival Model for Unbiased Ranking
  • https://arxiv.org/abs/2004.14714
  • position bias に対して inverse propensity score を用いて対応するのは最近流行ってるがいくつか問題がある。CV 予測に際して、文書情報が考慮されていない。position bias のみが考慮されていて、ユーザの閲覧行動におけるその他の問題が無視されている。Deep Recurrent Survival Ranking (DRSR)を提案。ランキングに含まれる文書情報を考慮。ユーザの行動に潜む様々な問題を考慮。文脈情報を扱うために RNN を利用。確率連鎖則を用いた生存分析技術を取り入れ、あるユーザの様々な行動の不偏な共同確率を数学的に表現する。
• Humor Detection in Product Question Answering Systems
  • https://www.amazon.science/publications/humor-detection-in-product-question-answering-systems
  • ユーモアのある質問を検知する。面白そう。
• Octopus: Comprehensive and Elastic User Representation for the Generation of Recommendation Candidates
  • 名前がかわいい。MSRA。多分まだ公開されてない。
• Learning Colour Representations of Search Queries
  • https://arxiv.org/abs/2006.09904
  • よく分からんけど面白そう。Adobe Research。画像検索におけるクエリの大部分には固有の色がある。明示的に色について言及しているものもあれば（「黒い車」、「黄色いヒナギク」）、暗黙のうちに色についての概念を持っているもの（「空」、「草」）もある。クエリを色に基づいて処理すれば、単一の色へのマッピングだけでなく、色空間へのマッピング（「気」って検索すると、緑色と茶色を中心とした倍モーダルな分布）も可能になる。過去のクエリログを利用して、見たことのないクエリを色空間にエンコードするためのリカレントニューラルネットワークの提案。
• Recommending Podcasts for Cold-Start Users Based on Music Listening and Taste
  • 多分まだ公開されていない。Spotify 様の論文なので読む。コールドスタート問題への対応論文多い気がする？
• Asymmetric Tri-training for Debiasing Missing-Not-At-Random Explicit Feedback
  • https://arxiv.org/pdf/1910.01444.pdf
  • https://github.com/usaito/asymmetric-tri-rec-real
  • 斎藤さんのやつ。
• Learning to Ask Screening Questions for Job Postings
  • https://arxiv.org/abs/2004.14969
  • LinkedIn において採用効率を向上させ、応募者一人一人を手作業でスクリーニングする必要性を減らすために、採用担当者がオンラインでスクリーニングの質問をすることができる新製品を開発し、資格のある候補者を簡単にフィルタリングできるようにする。与えられた job description に対してスクリーニング質問を自動生成するタスク。Job2Questionsと呼ばれる2段階のディープラーニングモデル。新しいタスクなのでデータはないのでディープトランスファー学習。実際にプロダクトで試してめちゃくちゃ効果出てるみたい。
• Employing Personal Word Embeddings for Personalized Search
  • まだ公開されてなさそう。ユーザごとに異なる単語ベクトル作るってこと？大変そう。
• How to Retrain a Recommender System?
  • https://arxiv.org/abs/2005.13258
  • 問いかけ系。推薦モデルの再学習について。ログデータってめっちゃあるから、一回学習に使ったデータをもう一度使って学習するのコスト高いからなんとかしたいよね。過去の訓練経験を学習に移すことで、再訓練時に過去のデータを放棄することを目的とした新しい訓練手法を提案する。具体的には、ニューラルネットワークをベースとした伝達成分を設計し、古いモデルを将来のレコメンデーションに合わせた新しいモデルに変換する。(?)
• CATN: Cross-Domain Recommendation for Cold-Start Users via Aspect Transfer Network
  • https://arxiv.org/abs/2005.10549
  • クロスドメイン（本から映画）でインタラクションデータを活用することで、新しいドメインにおけるコールドスタート問題を解決する。レビューから得られるアスペクトレベルでのユーザの好みの伝達をモデル化することを提案する。ユーザーのレビュー文書から各ユーザーと各項目の複数のアスペクトを抽出し、attention を用いてドメイン間のアスペクト相関を学習するように工夫されている。さらに、ユーザーのアスペクト表現を強化するために、同じ考えを持つユーザーからの補助的なレビューを活用する。

[agatan]

Embedding-based Retrieval in Facebook Search

• https://arxiv.org/abs/2006.11632

Facebook の検索に Embedding を使った retrieve を使っているという話。 普通の embedding based retrieval と違って social graph や location の情報を加味した検索をする必要があり、それらの情報を unify した仕組みを提案している。

疑似コードなのか本物なのか知らないけど、 (nn <key> :radius <radius>) という検索クエリ拡張をするらしくてちょっと面白い。（ model を使った query / document embeddings が 度以内だったら true になる Boolean matching らしい）

[agatan]

Multi-Sample Dropout for Accelerated Training and Better Generalization

• https://arxiv.org/abs/1905.09788

一度の forward で N 回 Dropout させた N 個の出力を作り、それぞれで loss を計算したのちに平均をとって全体の loss とすることで、学習速度を向上させることができる & error rate も低くなって最高、という論文。

終盤の dropout だけ複製を作れば良いので、計算量を抑えつつ学習効率を増すことができる。実装も簡単そうだし、コンペとかで使えそうだなと思いました。（ kaggle tweet コンペの闇と光 (コンペ概要と上位解法) で紹介されていたので読みました）

[agatan]

SmartReply for YouTube Creators

https://ai.googleblog.com/2020/07/smartreply-for-youtube-creators.html

gmail にあった SmartReply を YouTube のコメント返信にも使えるようにした、という報告と、その進化の過程を説明しているブログ。 Seq2seq だと遅いから predefined list から embedding based な retrieval するようにしたり、絵文字や多言語に対応するために word-by-word → character based に変更したり、dilated transformer で推論速度を上げたり。