【experiment】drug id を label として学習して MoA の予測に活かす

[tawatawara]

概要

• しんちろさんの調査から「同じ drug には 同じ MoA (の組合せ)が対応してそう」という気付きを得る
• ならば どの drug かを予測してから後処理で MoA にするという選択肢が取れる
• 問題は test には unseen drug が存在すること. ここをどうするかが肝要

現状で分かっている事

• 各drug_idでgroupbyして、labelのmeanを取った際に全て0か1になる。　　 　https://team90s.slack.com/archives/C01A3L9BKMZ/p1604759492184900
• また、drug_idだけでMoAを全て当てられる。 　https://github.com/team90s/kaggle-MoA/issues/83#issue-738365737
• よって、同じ drug には 同じ MoAが対応している。言い換えると、drugの名前からMoAのラベリングを行っている。
• 最高で1/3ぐらい、seenのdrugがpublic&privateに登場する。 　https://team90s.slack.com/archives/C01A3L9BKMZ/p1604760989200800

[tawatawara]

具体的な手法の候補(随時更新)

• drug id を予測 -> 後処理で MoA に変換

  • [x] drug id を multi-class classification し、後処理で一番確率の高かった drug に対応する MoA に変換
    • これだと unseen 問題が明確に出る
  • [ ] drug id を multi-class/label classification し、各 drug id に対する確率値で MoA を加重平均
    • 一個目の方法よりは unseen 問題がましになりそう
  • [ ] drug id で学習を行ってから embedding を用いて kNN 等をする

• (new!) drug id よりも少ない class にまとめた上で上記と同じことをやる

  • [x] label powerset (328種) でやる
  • [ ] もっと少ない数、例えば pos expamle top 10 & others でやる
  • [ ] 同じ label powerset をそのまままとめるのではなく、PCA 等をかけた上でclustering したものの cluster を label とする

• [x] drug id(multi-class) と MoA (multi-label) の Multi-Task Learning

  • bengali でやってる人が結構いた
  • 一番確率の高かった drug に直接変換するよりはましになりそう

• [ ] 【発展】seen/unseen を 識別し、そこから専用の識別機に通す(やってみたい)

  • bengali の 8位 のやつが notebook も置いてくれてて非常に参考になる
  • この data を触っていたのもあって、僕の役割のメインはこいつにしてもいいかも

• [ ] (new!) drug id 等を一旦学習させて、oof prediction を meta feature にする

  • transfer の議論と同じく、役に立たなそうな class は無視しちゃってよくなりそう
  • seen/unseen classifier よりも楽に実装できる

• [ ] (new!) drug id 等を一旦学習させて、転移学習を行う

  • oof feature の場合と同じ議論.
  • 直接の予測は厳しそうなのでこちらの方が筋が良さそう

[tawatawara]

現時点で想像できる課題

• 言わずもがな、test における unseen
• drug id が 3000 強あるのに train が 20000 強しかない問題(これも重要)
• 学習うまくいくか。特に seen/unseen classifier

まあ書いてるだけじゃ口だけおじさんになって何も進まんので順に実験していきます🔥