[2022/10/27]Machine Learning 輪講

[nogawanogawa]

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. https://github.com/wantedly/machine-learning-round-table/issues/165

What

話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

[zerebom]

Reflash Dropout in Image Super-Resolution

• CVPR2022の論文
• 元来、超解像(SR, Super Resolution)のタスクに置いてはDropoutは有用でないと考えられていた
  • Dropoutは高レベルのビジョンタスクで利用・発展してきたきたため
  • SRのような低レベルのビジョンタスク(単純な回帰問題)において、ネットワークのどこかが欠如することは精度劣化になるのではと考えられてきた
• しかし実験すると、最終層の直前にDropoutを追加すると精度向上が確認できた
  • 
  • 特に未知の低画像化の手法に対して良く汎化することができている
  • ※前提: SRは複数の手法(noise, bi-cubic, jpeg, etc.)で低画像化することで過学習を防ぐことが多かった
• 結果分析
  • Dropoutを追加するとco-adaption(ニューロン同士が依存関係を持つこと)が回避される
  • 特定のFeature Mapだけ発火するようなことがなくなった
  • 低画像化の手法ごとに抽出される特徴が偏ることがなくなった(= 汎化性能が向上した)
    • 

参考: https://deeplearning.jp/reflash-dropout-in-image-super-resolution/

[nogawanogawa]

From Query-By-Keyword to Query-By-Example: LinkedIn Talent Search Approach

論文URL

https://arxiv.org/abs/1709.00653

著者

Viet Ha-Thuc, Yan Yan, Xianren Wu, Vijay Dialani, Abhishek Gupta, Shakti Sinha

会議

CIKM '17

背景

通常タレント検索ではキーワードに基づく検索が行われるが、画像検索などの分野ではQuery-By-Exampleという手法も行われている。これは、検索クエリを単語ではなく、実際のアイテム例を指定し、そこからクエリを構築して検索を行う手法である。

タレント検索の文脈でQuery-By-Exampleが適用されたケースは珍しく、これまでキーワード検索しか行ってこなかった場合、検索モデルの構築に必要なログが存在しないという問題がある。

目的

タレント検索の分野でのQuery-By-Exampleの実現

アプローチ

• 検索者が考える「理想的な候補者のプロフィール」を元に、タレント検索のクエリを構築・検索
  • プロフィールから明示的・暗黙的なスキルを推定することで、クエリを構築
  • Query-By-Keywordシステムの利用ログからSearch By Ideal Candidates用のラベル付きデータを推論ことでログデータの不足を克服

memo

https://github.com/nogawanogawa/paper_memo/issues/51

[Hayashi-Yudai]

Metapath-guided Heterogeneous Graph Neural Network for Intent Recommendation

metapathによってグラフ構造を作って、ユーザーの検索するクエリを予測するモデルを作ったという話

グラフを作る際にいくつかの種類のmetapathを考えている。例えば、

• UIQ
  • UserがクリックしたItemをヒットさせるためのQuery
• UQI
  • Userが使うQueryによってヒットするItem

Userのembeddingを作るときには UIQとUQIのmetapathを使う。UIQのmetapathではItemがヒットするQueryのembeddingを集約してItemのembeddingを作って、UserのクリックしたItemのembeddingを集約してUserのembeddingを作っている。UQIの方も基本的には同じ感じ。

AUCを使って性能を評価