[2022/08/25]推薦・機械学習勉強会

[zerebom]

Why

推薦・機械学習勉強会は、推薦や機械学習、その周辺技術を通じてサービスを改善することにモチベーションのある人達の集まりです。ニュースやブログから論文まで、気になったものについてお互い共有しましょう！

発信のため、ここは public にしてあります。外部からの参加をご希望の方は樋口(https://twitter.com/zerebom_3) まで DM を送るか、Wantedly Visit の募集（https://www.wantedly.com/projects/391912） よりご連絡ください！

What

Wantedly では隔週木曜日に

• 推薦の評価指標について議論したい
• 〇〇っていうライブラリ / フレームワークを導入してみたい
• 他社の基盤事例をみんなにシェアして自社の基盤開発に活かしたい
• もっと推薦を良くするためにどんなものが必要か議論したい

といった話をする「推薦・機械学習勉強会」を開催しています。 この ISSUE はその会で話すネタを共有するための場所です。

話したいことがある人はここにコメントしましょう！ 会の間に話した内容もここにメモしましょう！

prev: #155

[sugakoji]

Stability AI社がStable diffusionのオープンソース化

• これは何?

拡散モデル

いままでtext-to-imageのモデルのDALLE2やMidjourneyは使うことはできたが、中身は公開されてなかった。しかし、Stable Diffusionはモデルと重みを公開している。

LAION-5Bという50億以上の画像とテキストのペアのデータセットの一部を使ってトレーニングされているらしい

• どうやって動かすの?

簡単にcolabなどでも試せる。npakaさんという方のnote

• 所感

個人の所感だと、DALLE2, Midjourneyと比べてStable Diffusionが特別優れているというわけではなさそう

良い画像を生成するために、必要な単語や表現を人間側が学習して使わなきゃいけないのは、共通っぽい

(Stable Diffusion、一般的なクエリでもNot Safe For Work扱いになったりするのが気になった)

Midjourneyのbetaコマンドの公開と停止

• これは何

midjourneyに--betaというオプションをつけて、画像を生成することができる。

--betaなしと比べて、性能が上がっているようにみえる。

stable diffusionのコードを取り込んだみたいな噂があるが真偽不明。

• どうやって動かすの？

現在は公開停止中

• 所感

結構印象が違う画像が生成された。

2次元のイラストなどは、betaのほうが得意そう

[zerebom]

見えないアルゴリズムを攻略せよ、インフルエンサーたちの戦い

インフルエンサーとプラットフォームのアルゴリズムの関係、説明性について論じた記事。 概要

• 多くのクリエイターは経験を基に、プラットフォームのアルゴリズムを理解するために、多大な労力を注ぎ込んでいる
  • クリエイター同士で団結して、アルゴリズムの挙動を理解したりノウハウを共有している
  • アルゴリズムのバイアスに対応するため、コンテンツの制作やプロモーションの方法を変更している人も
  • ↑はトップダウン型の権力システムに立ち向かっていくための強力な手段
• 抜本的な透明性は難くても、クリエイターのビジネスに根本的な影響を与える決定は、もっとクリエイターに発言権が与えられるべきでは

感想

• インフルエンサーに限らず、SNSマーケ、Youtubeコンサルタントとか、巨大プラットフォームのアルゴリズムを把握することを生業とする企業もあるので、アルゴリズムが人の生活に大きく影響を与えているのだなと改めて実感
• 人の生計を担うほどの影響があるなら、透明性を担保したいものの、ハックされる危険性もあり、どの程度情報公開するかは難しい

魔術としての「プロンプト」 プロンプトエンジニアリングの可能性

• AIに良いoutputを作ってもらうための指示を最適化する「プロンプトエンジニアリング」の記事
  • うまくGoogle検索するかという「ググラビリティ」も広義の「プロンプトエンジニアリング」と言えそう
• レンズの機種やパラメータを指定すると良い
  • 具体例: https://zenn.dev/karaage0703/scraps/f84c98a8b78290
• ランダムな単語を自動で入力したり、複数パラメータを一気に試せるツールで効率よく新たな潜在空間を見つけるという工夫も

pandas1.5.0のリリースノートを読んだ

ref: https://pandas.pydata.org/pandas-docs/version/1.5/whatsnew/v1.5.0.html ref: https://medium.com/virtuslab/pandas-stubs-how-we-enhanced-pandas-with-type-annotations-1f69ecf1519e

• pandasチームがpandas-stubsを正式サポート開始。type annotationが進むかも
• pd.Series([1.0, 2.0, None], dtype="float32[pyarrow]") のようにpyarrowをnativeでサポートするようになる
  • backendがpyarrowなので高速化できそう?
• DataFrameをhtmlとcssでリッチに見せる、.Stylerの機能がアップデート

[Hayashi-Yudai]

Causal inference when treatments are continuous variables

介入を表す変数がカテゴリ変数でなく連続値の場合に因果推論をend-to-endに行って良い結果が得られたという話

介入と出力の関係を示す応答関数が線形の場合にはMSEを27 %, 非線形の場合には 38 %減少させることができた。

[nogawanogawa]

KDD2022 で気になった研究

08/14 - 08/18 にKDD2022が開催。まだ全然論文とか見れていないが、面白そうな論文をピックアップしてくださっている方がいらっしゃった。

• 個人的に気になったものをいくつか(全体：https://kdd.org/kdd2022/toc.html )
  • Looper: An End-to-End ML Platform for Product Decisions
  • いつの間にかできていたFacebookの機械学習の基板のはなし。チョット興味ある
  • ItemSage: Learning Product Embeddings for Shopping Recommendations at Pinterest
  • 個人的に興味を持ってるpinterestの推薦の話
  • Scale Calibration of Deep Ranking Models
  • Googleのランキングの話

2022年のPFNの機械学習基盤

PFN社のオンプレ機械学習環境が今どうなっているかの紹介。 オンプレのサーバーで機械学習環境を作っているのが、ただただすごいと思った。

• 使いやすい環境
• リソースの効率的かつフェアな利用
• 信頼性・運用省力化

等を意識して運用している模様。特にリサーチャー・エンジニアとスキルが異なる人が使用する環境を作るのはめちゃくちゃ大変そう。ヘテロジニアスな分散処理とか、やるだけでもめっちゃ大変そう。すごい。