[2021/08/19]Machine Learning 輪講

[hakubishin3]

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. #110

What

話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

[nogawanogawa]

Generating High-Quality Query Suggestion Candidates for Task-Based Search

著者

Heng Ding, Shuo Zhang, Darío Garigliotti, Krisztian Balog

背景

検索の際のクエリサジェストは現在では当たり前のようになっており、この10年で大きく注目を集めてきた。しかし、従来のやり方ではユーザーが実際に何を達成したいかを考慮できていなかった。

目的

ユーザーが何を達成したいのかに焦点を当てた検索(task-based search)におけるクエリサジェストの実現

アプローチ

手法とデータの組み合わせによって実現可能性を調査

• 手法
  • suffix
  • neural language model
  • seq2seq
• データ
  • AOL query log
  • KnowHow
  • WikiAnswers

感想

• クエリ補完だけならクエリのログがあればSeq2seqを使えば行けそう
• 多様性を出す見直しをする際には、データセットの拡張が必要になるからログ以外のデータセットを組み合わせるアプローチが必要かもしれない

memo

https://github.com/nogawanogawa/paper_memo/issues/2

[hakubishin3]

Transformers4Rec: Bridging the Gap between NLP and Sequential / Session-Based Recommendation

https://github.com/NVIDIA-Merlin/publications/tree/main/2021_acm_recsys_transformers4rec

概要

• RecSys2021
• huggingfaceのTransformersをベースとした推薦システム用ライブラリTransformers4Recを開発
• Transformers4Recを使用して, Transformerアーキテクチャのセッションベース推薦タスクでの実証実験を行っている

Transformers4Recアーキテクチャ:

• RQ1: Can transformer-based architectures provide accurate next-click predictions for the shorter user sequences found in the session-based recommendation task?
  • ベースラインに比べてTransformerは良いっぽいが, 特定のアーキテクチャがどのタスクでも強いというわけではなさそう. アーキテクチャの適切な選択が必要そう.
• RQ2: How do the training techniques of Causal LM, Masked LM, Permutation LM, and Replacement Token Detection perform comparatively for the task of session-based recommendation?
  • XLNetをベースとして複数のpretrain taskの組み合わせを試してみたところ, 多くのタスクで XLNet(RTD)のスコアが高い. 今まで試さなかった組み合わせでも良い結果になるかも？
• RQ3: What are effective approaches to integrate additional features, commonly referred to as side information, into transformer architectures in order to improve recommendation accuracy?
  • メタデータなどの情報をどのように含めるのが良いのか。
  • カテゴリ特徴量に加えて連続値特徴量を含める(例えば経過時間など)場合, concatenate + Soft One Hot Encoding https://github.com/NVIDIA-Merlin/publications/blob/main/2021_acm_recsys_transformers4rec/Appendices/Appendix_A-Techniques_used_in_Transformers4Rec_Meta-Architecture.md が良いっぽい