metricをマシューズ相関係数に変える

[ryosukehata]

実施中 関数は

def matthews_corrcoef_for_lgbm(
    preds: np.ndarray, data: lgb.Dataset, threshold: float=0.5,
) -> Tuple[str, float, bool]:
    """Calculate MCC"""
    label = data.get_label()
    pred_label = (preds > threshold).astype(int)
    mcc = matthews_corrcoef(label, pred_label)

    # # eval_name, eval_result, is_higher_better
    return 'mcc', mcc, True

[ryosukehata]

custom metric, しきい値がハイパラになってて、変えるとmccが変わる・・・

|. | AUC | mcc th=0.5 | mcc th=0.35 | mcc th=0.3 | mcc th=0.25 |
| mcc. | 0.7859| 0.7857 | | 0.7860 | 0.7755. |

AUCで実験して推して、最後に最適化かけるのが良さそう。

[ryosukehata]

mccにしてもそんなに変わらないので、そのままで良さそう。