search

wantedly / machine-learning-round-table

Gather around the table, and have a discussion to catch up the latest trend of machine learning 🤖
https://www.wantedly.com/projects/391912
297 stars 2 forks source link

[2024/05/15]推薦・機械学習勉強会 #247

Open Hayashi-Yudai opened 1 month ago

Hayashi-Yudai commented 1 month ago

Why

推薦・機械学習勉強会は、推薦や機械学習、その周辺技術を通じてサービスを改善することにモチベーションのある人達の集まりです。ニュースやブログから論文まで、気になったものについてお互い共有しましょう！

発信のため、ここは public にしてあります。外部からの参加をご希望の方は合田/hakubishin3、角川/nogawanogawa、林/python_walker まで DM を送るか、Wantedly Visit の募集（https://www.wantedly.com/projects/391912） よりご連絡ください！

What

Wantedly では隔週水曜日に

といった話をする「推薦・機械学習勉強会」を開催しています。 この ISSUE はその会で話すネタを共有するための場所です。

話したいことがある人はここにコメントしましょう！ 会の間に話した内容もここにメモしましょう！

prev: https://github.com/wantedly/machine-learning-round-table/issues/245

Hayashi-Yudai commented 1 month ago

グラフニューラルネットワーク(GNN)徹底解説！用途と仕組みからPyGでの実装まで

DeNAのkamiさんのGNNに関する包括的な解説記事。グラフに関する導入から始まり

について先行研究を紹介しながら解説されている。記事の最後には PyTorch Geometric を使った簡単な実装例が紹介されている。

Embeddingモデルを使ったベクトル化のしくみ、fine-tuning手法を解説

文章のベクトル表現の品質を上げるための手法がまとめられているスライド。

chimuichimu commented 1 month ago

RAPIDS cuDF Instantly Accelerates pandas up to 50x on Google Colab

Google Colab で cuDF が使えるようになったらしい

実際に試してみたが、以下の手順だけで使えてかなり簡単だった

hakubishin3 commented 1 month ago

これまでの検索と生成AI時代の検索

検索のこれまでの歴史の紹介と、生成AIの登場により検索がどう変わっていくかを考察している記事

生成AIの登場によって、検索機能に求められる要求が従来の「関連情報の検索」から「回答の生成」に変わっていく

筆者が主張している内容のうち、特にデータ化と滑らかなネクストアクションという部分に共感した。すなわち、データがあるかどうかで体験の実現性に対して強い優位性が生まれること、そしてユーザーのニーズ（真の目的）を達成することを検索を起点に実現することが今後の生成AI時代に対して重要になるのではないか

image

nogawanogawa commented 1 month ago

Sakana.aiが公開した「Evolutionary Model Merge」手法を「mergekit」で実施してみる

merge-kitなるツールを使うと進化的マージがいじれちゃうらしい、すごい。

感動的なのは、私のマシン構成であるRTX3090x2の構成で十分動いたので、7Bをそのまま学習するよりは簡単だったことです。すごいです。推論だけならまだしも7Bの重み全ての学習は通常GPUメモリが不足し、動きません。

すごい

RAG評価ブログ

Beatrustさんのブログ

KKaichi commented 1 month ago

レコメンデーションにおける平準化を考慮した2段階最適化

背景

提案手法

実行方法

メリット

調整係数の役割