wantedly / machine-learning-round-table

Gather around the table, and have a discussion to catch up the latest trend of machine learning 🤖
https://www.wantedly.com/projects/391912
305 stars 2 forks source link

[2022/08/04]Machine Learning 輪講 #154

Open hakubishin3 opened 2 years ago

hakubishin3 commented 2 years ago

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. https://github.com/wantedly/machine-learning-round-table/issues/152

What

話したいことがある人はここにコメントしましょう! 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう!

hakubishin3 commented 2 years ago

Explainable Recommendation for Repeat Consumption

https://dl.acm.org/doi/10.1145/3383313.3412230

リピート消費されるアイテムの説明可能な推薦について有用性を検証した論文。

背景

例えば音楽ストリーミングサービスなど、ユーザが同じコンテンツを繰り返し消費するサービスが存在する。通常ユーザは同一コンテンツを繰り返し消費する際、はじめは集中的に消費し、コンテンツに飽き始めると消費頻度が落ちていき、最終的には消費しなくなる。しかし、消費しなくなったコンテンツでも、ユーザはそのコンテンツを再び消費する可能性はある(例えば、昔聞いていた音楽を聞くなど)。消費しなくなったコンテンツをユーザに再び消費してもらうことは、ユーザのサービス上の体験向上やチャーンレートに影響するかもしれないし、プラットフォーム的にも消費コンテンツが増えて嬉しい。推薦理由を提示することでこの体験を促進できるだろうと仮説立てている。

アプローチ

推薦理由は以下の3つの要因をベースに計 9 種類の理由スタイルを作成。スタイルの例として『あなたが(コンテンツ名)をはじめて聴いてから(Personal factorから求まる年数)年が経過しました』など。

スクリーンショット 2022-08-04 18 28 46

検証結果

アンケート調査で各スタイルの推薦理由の説得力を評価している。

スクリーンショット 2022-08-04 18 11 09 スクリーンショット 2022-08-04 18 11 22
Hayashi-Yudai commented 2 years ago

Is Integer Arithmetic Enough for Deep Learning Training?

現状の問題

機械学習モデルのパラメータと計算の複雑さが急激に増加している。これによりedgeデバイスへ機械学習モデルをデプロイするのが困難になってきている他、計算コストの増加が問題になっている。

これを解決する手段として量子化がある。しかし、勾配を量子化後の型の範囲に収める必要があるなど困難が多い。

この論文の成果

整数だけで訓練パイプラインを実現した。さらに、もともとのモデルと比べても精度の低下が非常に小さく抑えられている。

image
nogawanogawa commented 2 years ago

Do Transformers Really Perform Bad for Graph Representation?

論文URL

https://arxiv.org/abs/2106.05234

著者

Chengxuan Ying, Tianle Cai, Shengjie Luo, Shuxin Zheng, Guolin Ke, Di He, Yanming Shen, Tie-Yan Liu

会議

NeurIPS 2021

背景

Transformerアーキテクチャがグラフ構造に適しているかどうか、またグラフ表現学習においてどのように機能させるかは、まだ未解決の問題である。

目的

Transformerのグラフ構造への適用

アプローチ

image

memo

https://github.com/nogawanogawa/paper_memo/issues/42