[2022/01/27]推薦・機械学習勉強会

yu-ya4 commented 2 years ago

Why

推薦・機械学習勉強会は、推薦や機械学習、その周辺技術を通じてサービスを改善することにモチベーションのある人達の集まりです。ニュースやブログから論文まで、気になったものについてお互い共有しましょう！

発信のため、ここは public にしてあります。外部からの参加をご希望の方は松村(https://twitter.com/yu__ya4) まで DM を送るか、Wantedly Visit の募集（https://www.wantedly.com/projects/391912）よりご連絡ください！

What

Wantedly では隔週木曜日に

推薦の評価指標について議論したい
〇〇っていうライブラリ / フレームワークを導入してみたい
他社の基盤事例をみんなにシェアして自社の基盤開発に活かしたい
もっと推薦を良くするためにどんなものが必要か議論したい

といった話をする「推薦・機械学習勉強会」を開催しています。この ISSUE はその会で話すネタを共有するための場所です。

話したいことがある人はここにコメントしましょう！会の間に話した内容もここにメモしましょう！

prev: #126

zerebom commented 2 years ago

Vue.js+textlint+機械学習でRPGツクールMZ用文章校正プラグインを開発して得られた知見

RPGツクールMZで動作する実用レベルの文章校正プラグインの実装を紹介した記事。

Vue.jsでプラグインのフロントを作成
Textlintで文章構成
ColabでT5を学習
自作PCでT5を推論

イライザダイジェスト

松尾研発の企業ELYZAが開発したNLP WEBアプリ
どんな文章も3行に要約してくれる
参考: https://togetter.com/li/1833340

統計・機械学習の理論を学ぶ手順

中学数学から、代数トポロジー、特異モデルなど、統計・機械学習を学ぶ上でそれぞれの分野がどんなもので、どのように関わるか、何で勉強すれば良いかを紹介した記事。

データサイエンティスト、91.6％が副業意向があると回答｜SIGNATEの調査:

データサイエンティスト・データ分析に関わる職業のSIGNATEユーザ500人へのアンケート
77%が副業経験なし
その内、91%が副業意向がある
その内、53%が探し方がわからない

dtreeviz

決定木ビジュアライザー

nogawanogawa commented 2 years ago

自然言語処理と時系列を考慮した推薦システムの関係（Transformer4Rec）

推薦タスクと自然言語処理の共通点を紐解く話。

推薦とNLPのタスクが似ている点

次に来るものを予測するための仮定が似ています。
自然言語処理の単語と推薦システムのアイテムの出現頻度の分布も似ています。

こう考えると、推薦も時系列で考えるのが良さそうということになる。

このような時系列を考慮した推薦システムを機械学習で行うとき、機械学習のタスクは、「ユーザが購入したアイテムのシーケンスの次に来るアイテムを予測する」というタスクになります。

Transformer4Recが最後にちょっと紹介されてる。

生態学の指標を応用した、広告の多様性とクリックされやすさの関係の分析〜検索広告での事例

検索広告の多様性についての分析の紹介。

広告の多様性が高いほうがCTRが高いという結果。広告の多様性という概念自体が初めて見たので勉強になった。

rinna、13億パラメータをもつGPT言語モデルを公開、高度な日本語文章が生成可能

使ったこと無いですが、すごそう。 Hugging Faceにあるらしい。

yu-ya4 commented 2 years ago

Data2vec

音声でも画像でも言語でも、なんでも同じ仕組みでベクトルにしちゃう自己教師あり学習手法。やばそう。 BERT などで利用されるマスク予測と BTOL などで利用される自己蒸留(self distillation)を組み合わせて表現学習。

https://ai.facebook.com/research/data2vec-a-general-framework-for-self-supervised-learning-in-speech-vision-and-language

https://ai.facebook.com/blog/the-first-high-performance-self-supervised-algorithm-that-works-for-speech-vision-and-text

hakubishin3 commented 2 years ago

Make your Python code more readable with Python 3.9

Annotated でメタデータの注釈をつけられるようになった。

from typing import Annotated

Meter = Annotated[float, "meter"]
Seconds = Annotated[float, "seconds"]
MeterPerSecond = Annotated[float, "meter per second"]

def get_velocity(distaince: Meter, time: Seconds) -> MeterPerSecond:
    return distince/time

wantedly / machine-learning-round-table