yu-ya4
commented
3 years ago Line のデータサイエンティストが UI 変更の ABテストを設計してるよって話
https://linedevday.linecorp.com/2020/ja/sessions/3932
- 複数の重要な KPI がある問題
- KPI を１つに絞るのではなく、3stage制のトーナメント方式
- View > Click > Conversion
- 候補が複数あると、分析すべきAB の組み合わせが無限にあってハンドリングできない問題（UI 組み合わせ 画面 国）
- 事前知識で組み合わせを絞る。
- 必要な SQL をgithub に載せておくと自動で必要な集計・可視化がなされる仕組みの構築
- 新しい UI によって引き起こされるバイアスはないの？（新しいからCVする）
- AB間の差を週毎に集計。統計的に明らかに他の週より大きく差がついている週は分析対象期間から外す。
- AB リリースした頭の1週間を除いて分析
- ビジネスインパクト結局分からない問題
- ちゃんと計算するよ〜（1年あたりやとこんくらいみたいな ）
- ちゃんとユーザの行動を観察して仮説立ててる。右上の「設定アイコン」の位置微妙なんじゃね？
- 「UI の下の方のコンテンツ」→「設定アイコン」のセッションが多い
- ユーザが何か探して下まで探した後に見つからず設定アイコンにいってるんじゃね？
- 「ブロック」→「アンブロック」のセッションが多い
- 設定アイコンとブロックアイコンを間違えて押してるんじゃね？
Yahoo! JAPAN Tech Conference でML/DS 系の話がいくつかあったのでチェック✍
https://techconference.yahoo.co.jp/2021/
- 『「落札したいと思う」かつ「落札できそう」なオークション商品推薦』
- 『ヤフーの検索基盤と機械学習検索ランキング』
- 『データの価値を最大化させるデザイン 〜データが"読める"デザイナーから"使える"デザイナーに』
- 『トップページタイムラインの裏側』
- 『ヤフーを支えるレコメンデーションエンジン』
- 『ルールと機械学習を融合させた不正決済検知システム』
yenta のマッチングコンペの優勝者による発表が2/1に行われる
https://twitter.com/upura0/status/1354056524138639361
https://www.meetup.com/ja-JP/Democratic-AI-by-bitgrit-Tokyo/events/275960044/
Google の商品レコメンドと商品画像検索の機能が一般提供開始
Recommendation AI と Vision API Product Search が GA
Clubhouse が流行ってますね
https://www.joinclubhouse.com/
FOMO（fear of missing out） の世界でどういう推薦が求められるのか考えたい。👀
その瞬間瞬間が超重要なので、めちゃくちゃ push を送ってくるサービス。フォローしている人がイベント開催したり、room 作って話しているとすぐに通知が来る。正直かなりうざいレベルで送られてくる。よって、だれをフォローするかは重要なので、フォローする人の推薦は重要そう。
一方で、かなり気軽にフォローは行われる。オンボで5,60人のユーザがざっと候補として推薦されて、手動でぽちぽち解除しない限り自動で全員フォローすることとなる。（それによって知らない人からのフォローがめっちゃくる）また、気になるイベントが開催されるなと思ってリマインダー設定するとそのイベントのスピーカーを自動的に全員フォローすることになる。
このように、ユーザをフォローすると push がめちゃくちゃうるさくなる（もちろん全部興味あるならいいが）わりにかなりカジュアルにフォローさせるってのがちょっと面白いなと思っている。Push の量を5段階で調整できる機能もあったりするので、それでも関係ないものを Push という強い訴求で推薦されるネガな効果は大きい。これは結果としてサービスから離脱されることにも繋がりかねない。
その上で、たくさんフォローしたことによるノイズを減らすことを目的とした、「削る」推薦みたいなのがあっても良さそうだなと思った。この人のフォロー外したら？っていう推薦。けっこう攻めた体験ではあるが、自分で人のフォロー外すの心理的にしんどかったりもするので、そういうのを軽減する意味でも良さそう。
あとちょっと面白いなと思ったのは、炎上したときにログが残ってないがために後から検証できないから弁解の余地なくそのまま炎上し続けそうって考察が面白かった。擁護する人とかも現れにくい。
Tweet の「口コミ」機能登場？
『Twitterがコミュニティによるノートを付加して誤情報を防ぐ「Birdwatch」の試験運用を開始』
ユーザーはBirdwatchのサイトにサインアップして、誤解を招くと思われるツイートにフラグを立てたり、ノートを使って文脈を追加したり、他の投稿者が書いたノートを参考にして評価したりすることができる。これらのノートは、今のところBirdwatchサイト上でのみ表示されるが、それらをメインのTwitterで体験できるようにすることが、同社の目標であるようだ。
アメリカではもう使えるらしい https://twitter.com/i/birdwatch/country-unavailable
hakubishin3
Why
推薦・機械学習勉強会は、推薦や機械学習、その周辺技術を通じてサービスを改善することにモチベーションのある人達の集まりです。ニュースやブログから論文まで、気になったものについてお互い共有しましょう！
発信のため、ここは public にしてあります。外部からの参加をご希望の方は松村(https://twitter.com/yu__ya4) まで DM を送るか、Wantedly Visit の募集（https://www.wantedly.com/projects/391912） よりご連絡ください！
What
Wantedly では隔週木曜日に
といった話をする「推薦・機械学習勉強会」を開催しています。 この ISSUE はその会で話すネタを共有するための場所です。
話したいことがある人はここにコメントしましょう！ 会の間に話した内容もここにメモしましょう！
prev: #82