wantedly / machine-learning-round-table

Gather around the table, and have a discussion to catch up the latest trend of machine learning 🤖
https://www.wantedly.com/projects/391912
306 stars 2 forks source link

[2023/03/01]Machine Learning 輪講 #186

Open nogawanogawa opened 1 year ago

nogawanogawa commented 1 year ago

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. https://github.com/wantedly/machine-learning-round-table/issues/184

What

話したいことがある人はここにコメントしましょう! 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう!

Hayashi-Yudai commented 1 year ago

Denoising and Prompt-Tuning for Multi-Behavior Recommendation

WWW '23に採択された論文で、ユーザーの複数の行動をうまくモデルに取り込んで推薦性能を向上させたという内容。

ECサイトなどに集まるユーザーの行動データはある商品を買ったか(ターゲットデータ)以外にもお気に入りに登録したか、カートに追加したかなど多岐にわたる。しかしこれらのターゲットデータ以外のデータに関してはノイズが多く、うまく取り入れないと良い推薦モデルを作ることができなかった。この論文では3-stageからなるモデルを構築してノイズを除去した上でユーザーの嗜好を学習できるようにした。

nogawanogawa commented 1 year ago

IntTower: the Next Generation of Two-Tower Model for Pre-Ranking System

論文URL

https://arxiv.org/abs/2210.09890

著者

Xiangyang Li, Bo Chen, HuiFeng Guo, Jingjie Li, Chenxu Zhu, Xiang Long, Sujian Li, Yichao Wang, Wei Guo, Longxia Mao, Jinxing Liu, Zhenhua Dong, Ruiming Tang

会議

CIKM' 2022

背景

通常、多段階の推薦システムにおいて、最初のステージでは高速なscoringアルゴリズムによって予備的な異フィルタリングが行われる。このpreranking(おそらくcandidate retrievalのあとの処理)にとって、大量のcandidate に対して高速にscoringすることは不可欠な要件になっている。

image

現在では、これの主流はTwo-Tower modelが採用されいているが、このモデルはscoringの効率化のためにuserとitemの間の相互作用を完全に無視しており、推論精度に悪影響を与えてしまっているという問題がある。

先行研究のCOLDやFSCDについては、相互作用は考慮しているが、今度は従来ほど効率を高めることができていない。

目的

アプローチ

image image

memo

https://github.com/nogawanogawa/paper_memo/issues/78

zerebom commented 1 year ago

ChatGPT for Robotics:Design Principles and Model Abilities

MicrosoftのChatGPTをロボティクスアプリケーションにどれだけ適用できるかを試した論文。

ChatGPTには数学的、論理的、幾何学的な操作を解決する能力をもち、ロボティクス領域の多様なタスクをカバーしていることが示された。ChatGPTを効果的に活用するためには、高レベルなロボット関数ライブラリを定義し、ChatGPT用のプロンプトを構築し、ChatGPTによる生成された実装を反復する必要があると説明。

また、PromptCraftという、ロボティクスアプリケーションのための良好なプロンプト戦略の例を共同でアップロードして投票するプラットフォームと、ChatGPT統合のサンプルロボティクスシミュレータを公開している。

Prompt: https://github.com/microsoft/PromptCraft-Robotics シミュレータのデモ: https://www.youtube.com/watch?v=iE5tZ6_ZYE8&ab_channel=MicrosoftAutonomousSystems%26RoboticsResearch

プロンプトとタスクの例

https://github.com/microsoft/PromptCraft-Robotics/discussions/2  タスク: 対話形式でドローンを操作する。例えば、棚の中の欠品を検出させる。 やり方: ロボット自身にどんなAPIが備わっているかを教え、それらのAPIを使ってどのようにタスクを実現できるか説明させる。これをユーザがレビューし、フィードバックすることでタスクの精度を高める。