Rocket Chat, Forumでの議論内容まとめ

[habakan]

~2021/12月までで追っていたForum・RocketChatでのNNに関する議論を個人的にまとめていたので共有しておきます。（多少主観的なコメントが入ってます）
今後、異なるドキュメントで管理しそうであればクローズします。
各tipsは2次情報であり、LB上位にいなさそう？なので、参考程度に見ています。

Forum: Feature reversing input noise

• mdo氏からのNNに関するtips
  • 特徴量とtargetを標準化
  • Early Stoppingの活用
  • Noise付与
  • residual blockの適応
  • learning rateを低くし、長い時間で学習
  • それぞれの採用理由は明確に言語化はあまりされてない

Forum: Differentiable Spearman in PyTorch (Optimize for CORR directly)

• Correlationの損失関数を定義
• パフォーマンス報告などは特になし

Forum: AutoEncoder and multitask MLP on new dataset (from Kaggle Jane Street)

• Jane Streetの上位手法に関する議論
• AutoEncoderで事前学習
• Encoder部分を活用し、targetで再学習

Forum: NN architecture for >0.03 CORR on validation set

• Legacy valが0.03を超えたらしい手法
• NLPのCBOWのようなモデルで特徴抽出
• 再現実装の成功報告は特にない

Forum: Self supervised learning on pseudo labels

• Pseudo Labellingを利用した自己教師あり学習？

Rocket Chat: From the perspective of neural networks. Would you say numerai tournament is a classification or a regression problem?

• 分類か連続値回帰かどのようにしているかに関する議論
• 特徴量を149に選定
• reluでの情報量損失を防ぐためにleaky reluを採用している
• 画像情報としてとらえてCNNを適応したという事例もある？

[katsu1110]

@habakan うおおおすごい、神まとめありがとうございます！