search

wantedly / machine-learning-round-table

Gather around the table, and have a discussion to catch up the latest trend of machine learning 🤖
https://www.wantedly.com/projects/391912
297 stars 2 forks source link

[2023/01/11]推薦・機械学習勉強会 #179

Open zerebom opened 1 year ago

zerebom commented 1 year ago

Why

推薦・機械学習勉強会は、推薦や機械学習、その周辺技術を通じてサービスを改善することにモチベーションのある人達の集まりです。ニュースやブログから論文まで、気になったものについてお互い共有しましょう！

発信のため、ここは public にしてあります。外部からの参加をご希望の方は樋口(https://twitter.com/zerebom_3) まで DM を送るか、Wantedly Visit の募集（https://www.wantedly.com/projects/391912） よりご連絡ください！

What

Wantedly では隔週木曜日に

といった話をする「推薦・機械学習勉強会」を開催しています。 この ISSUE はその会で話すネタを共有するための場所です。

話したいことがある人はここにコメントしましょう！ 会の間に話した内容もここにメモしましょう！

prev: #177

zerebom commented 1 year ago

モバイルゲーム会社の機械学習グループを立ち上げた話

「機械学習の研究～開発～運用までを少人数・短期間で行う」と要望のために、DevOpsをアレンジしたResDevOpsを導入。 開発と研究を同じ2週間のイテレーションで回すことで、研究成果を効率よく運用現場に届ける。

GitHub Flow, MLflow等を活用し、効率よく研究を進めている。また、検証されたアイディア数、実験試行回数、延べ計算時間などを測定している。ResDevOps導入以降、人数の数倍の外部発表をしているとのこと

スプリントミーティングで繰り返しユーザー（非専門家）に通じる伝え方を磨き上げられるため、外部発表する頃には聴衆に刺さるストーリーテリングができあがっている。

GitHub Flowによって機能単位で効果検証が行われているため、自然にAblation Studyの実験結果が揃っている。

日ごろから再現性や可読性を担保しているため、再現実験用のコードとデータがわずかな手間で公開できる。

感想

研究を2週間のスプリントで区切りよくタスク化するのはかなり難しそうなので、どうやっているのか気になりました。ブレやすいML開発の速度を定量的に計測してるのは効果が大きそう。

ChatGPTのヤバさは、論理処理が必要と思ったことが確率処理でできるとわかったこと

ChatGPTの論理の構築方法などを、人間の思考方法などと交えて考察した記事。

ChatGPTは大体正しそうでよく見ると間違っているような答えをだすのをみるに、論理処理を噛ませてるのではなく、全て確率処理で論理を構築しようとしている事がわかる。

例えば、”1100円でバットとボールを買いました。バットはボールより1000円高い。それぞれいくらでしょう”という問題に”バット1000, ボール100”と答えるなど。

Hayashi-Yudai commented 1 year ago

Preventing updated NLP models from backsliding on particular tasks

ユーザー全体の体験を向上させつつ、いままで良い体験を受けていたユーザーを失望させないようにするための手法を提案。

NLPモデルを更新するときに、モデル全体としては性能が上がっていても古いモデルでは正解していたケースが新しいモデルでは不正解になるケースがある。これを最小限にするために古いモデルを discriminative reranker として活用したというAmazonの記事。

image

新しいモデルで候補をいくつか生成して、その候補の中で古いモデルでのスコアが最も高いものを最終出力とする。これによりnegative flip rate (NFR)を抑えることができている。

image

新しいモデルから候補を生成するときには Dropout-p sampling という手法を使っている。これはDropするニューロンを変えて何回も出力を得る手法で、こうすると一様でない候補が生成できて嬉しいらしい。Dropoutという名前がついているがこれは推論時にもONになる。

hakubishin3 commented 1 year ago

arXiv Xplorer

https://twitter.com/tomtumiel/status/1611729847700570118

https://arxivxplorer.com/

arxiv の論文検索エンジン、OpenAIが提供している言語モデルを利用したセマンティック検索

nogawanogawa commented 1 year ago

機械学習モデルと結果を解釈する(Feature Importance)

モデルの説明性・解釈性とかについて、本とかを読んでいた兼ね合いで読んでみた。

Permutation Importanceを使って検証データにおける特徴量の有用性を測る

こちらはPermutation Importanceの解説記事。

学習済みモデルを用いるため、検証データ(Validation data)にも適用でき、汎化性能の観点からも各特徴量の良さを計測でき、また木系のモデル以外でも利用できるという利点があります。

(Gini) Feature importanceを見るより、特徴量の良さを計測できそう。