Are Neural Rankers still Outperformed by Gradient Boosted Decision Trees?

[hiroto0227]

https://openreview.net/forum?id=Ut1vF_q_vC 2021年 Google

[hiroto0227]

どんな論文か？

• Neural Networkではランキング学習(Learning To Rank(LTR))が、GBDTなどのTree系アルゴリズムよりも性能がよくないケースが多い。
• 原因として考えられるのは以下の三つである。
  • Neural Networkは入力にセンシティブなため、入力のスケールを合わせる必要がある。
  • ベンチマークに使用しているデータセットが比較的小規模なため、学習しきれていないか、overfitしている。
  • 一般の全結合層では情報が十分に伝わらないが、LTRのNNでは全結合層を使用していることが多い。
• それらに対応するためにNeural Networkの構造をランキング学習に最適化したところ、GBDTと同じかそれよりも良いスコアとなった。

[hiroto0227]

提案されたネットワーク構造

各問題への対応

Neural Networkは入力にセンシティブなため、入力のスケールを合わせる必要がある。 -> 単純にlog1pをとってあげる。

ベンチマークに使用しているデータセットが比較的小規模なため、学習しきれていないか、overfitしている。 -> 入力に対してガウシアンノイズを加えて、Data Argumentを行う。

一般の全結合層では情報が十分に伝わらないが、LTRのNNでは全結合層を使用していることが多い。 -> multi-head-self-attentionを使用することで、複雑なネットワーク構造にしている。

[hiroto0227]

Lossの選び方について

Appendix BでどのLossがLTRに最適化を議論している。 Pointwise Loss, Pairwise Loss, Listwise Loss の3つの種類から8つのロスを比較している。 Listwise Lossが高い傾向にあり、その中でもどのデータセットに対しても安定して高いスコアとなる & シンプルなSoftmax Cross Entropyを採用としている。

[hiroto0227]

評価

• ベンチマークをGBDT系のSOTAである、lambdaMARTとしている。
• 提案手法のDASALCとlambdaMARTと比較すると、Web30Kでは買っているが、そのほかのデータセットでは少し劣っている。ただ、従来のNN手法よりは良い。
• Yahooのデータセットは公開時に入力値がすでにスケーリングされていたため、DASALCの精度の向上幅が小さかったと考えている。