Find out how to calculate the valuation function.

[skAtom]

HMkaggleコンペで使用される評価関数についての調査

https://www.kaggle.com/competitions/h-and-m-personalized-fashion-recommendations/overview

kaggleのHMコンペで出された評価関数に使われる文字の正体とスコア計算から外れるpredictionがどのようなものか調べる　 評価関数については上のスクショやkaggleのリンクを参考にされたい

TODO List

• [x] 評価関数に現れる文字にどのような数字が入るのか調べる
• [x] スコアリングから外れる予測とはどのようなものか調べる
• [x] kaggleにあがっているcodeの中でどのような計算をしてscoreを出しているか調べる

[skAtom]

スコアリングから外れる予測とはどのようなものか調べる

• リンク内の本文に「テスト期間に一度も購入しなかった顧客はスコアから外される」とあった

  Customer that did not make any purchase during test period are excluded from the scoring.

• 購入をした特定顧客の予測結果に使った商品IDの予測数が、実際に購入していた商品IDの予測数より多かった場合にscoreが変動することはない。

[skAtom]

評価関数に現れる文字にどのような数字が入るのか調べる

kaggleのEvaluationにある説明をdeeplで翻訳すると以下のようになる。

ここで、Uは顧客数、P(k)はカットオフkでの精度、nは顧客ごとの予測数、mは顧客ごとの基底真理値数、rel(k)はランクkの項目が関連する（正しい）ラベルであれば1、そうでなければ0の指標関数である。

U :顧客数
n :顧客ごとの予測数
m :顧客が実際に購入した商品数？
P(k) :特定の商品IDの予測値を元に割り振られたカットオフ値（カットオフと言っているので二値予測？）
rel(k) :予測kの商品IDが実際に購入したかを表す購入フラグ（購入していれば1,購入していなければ0）

[skAtom]

kaggleにあがっているcodeの中でどのような計算をしてscoreを出しているか調べる

https://www.kaggle.com/code/aruaru0/h-and-m-ensamble-only-dadfc6
上記のkaggleURLのコードでは自分の評価関数に対しての理解と同じ内容だった。

• 評価関数
  • 教師データにある商品IDが予測データになかった場合は０、予測データにあった場合は１をカウントして、ユーザーごとの平均精度を出す。その後算出されたすべてのユーザーの精度をまとめた平均を出す。