混ぜ方をどうするか

今は何となく ②y>200 だけで訓練したモデルと③ y<= 200 で訓練したモデルの予測結果を ①分類器が計算した y>200 になる確率で加重平均しているが色々やる前にまず加重平均で良いのか試したい。

[x] 1. 確率で加重平均をせず①の分類結果（≒確率）で②と③のどちらの予測結果を使うか決めるとどうなるのか

備考：ここでいうモデル①②③の意味合いは以下のコメントを参照のこと https://github.com/Quvotha/aiquest2021-assesment/issues/8#issuecomment-892219128

Quvotha commented 3 years ago

上記 1. の方法で Local CV の改善が見られたので採用する。次にモデル①（分類器）を改造できないかを試してみる。現状は以下の通りシンプルなロジスティック回帰。

    continuous_preprocessor = Pipeline(
        steps=[
            ('imputer', SimpleImputer(strategy='median')),
            ('scaler', StandardScaler())
        ]
    )
    categorical_preprocessor = OneHotEncoder(handle_unknown='ignore')
    preprocessor = ColumnTransformer(
        transformers=[
            ('categorical', categorical_preprocessor, continuous_features),
            ('continuous', continuous_preprocessor, discrete_features),
            ('others', 'passthrough', passthrough_features)
        ]
    )
    return Pipeline(
        steps=[
            ('preprocessor', preprocessor),
            ('classifier', LogisticRegression(random_state=random_state,
                                              max_iter=1000,
                                              n_jobs=-1,
                                              class_weight='balanced'))
        ]

まずはロジスティック回帰モデルの性能を上げられないかを試す。

[x] 2. ロジスティック回帰に次元削減を追加する

Quvotha commented 3 years ago

ロジスティック回帰に TruncatedSVD を追加したところ分類器としての性能は減少した（特に precision が下がる）。だがなぜか LocalCV は改善した。

他の分類方法も検討する。以下は 05-01 をベースに行う。

[x] 3. 分類器を KNN に変更する
[x] 4. 分類器を GaussianNB に変更する
[x] 5. 分類器を ComplementNB に変更する
[x] 6. 分類器を LightGBM に変更する
[x] 7. 分類器を CatBoost に変更する
[x] 8. 分類器を XGBoost に変更する

の Local CV がぶっちぎりで良くなったが PB は断トツワーストという結果になった。valid_loss で Local CV を評価していたが valid_losses_avg は極端に悪かったのであまりよくなかったので今後は valid_losses_avg が極端に悪いものは信用しない方が良いかも。

次のパターンも試したい。

[x] 9. 分類器を 2. と 7. のアンサンブルにする

Quvotha commented 3 years ago

なぜかいきなり Local CV と PB の相関が悪くなった。05-01 で良くなったからと採用したのが判断間違いと思われる。いったん 04-27 に戻ることにする。 ※コンペ終了間際の追記：必ずしも 05-01 で採用した加重平均を用いるアンサンブルが悪いわけではなさそう。他のロスが良い submit と相関係数を見比べて 0.95 とかあったら信じて大丈夫そう（05-07のスコアが良かった）。

Quvotha commented 3 years ago

04-27 を改造して以下を試してみる (issue のタイトルと全然違うことしてる)。

[x] 10. モデル②を LightGBM と CatBoost のスタッキングに変更する
[x] 11. モデル③を LightGBM と CatBoost のスタッキングに変更する
[x] 12. モデル①を CatBoost に変更する
[x] 13. 04-27 のモデル②の訓練で sample_weight = 1 + 2 * np.log(y) を指定する

また 05-07 を submit するとスコアがまあまあ良かったので見込みがあるのかもしれない。

[x] 14. 05-07 のモデル②の訓練で sample_weight = 1 + 2 * np.log(y) を指定する
[x] 15. 05-09 のモデル②の訓練で sample_weight = 1 + 2 * np.log(y) を指定する

多分 05-15 が最強だと思うが間違えて最終日の3サブを使い切ったので提出できず。

Quvotha / aiquest2021-assesment

Exp05: 分類器の作り方を変える #14

9 で試した sample_weight も併せて使ってみる

混ぜ方をどうするか