Add catboost regression with p@k

[ryukinix]

28

[ryukinix]

Falta ajustar algumas coisas:

• a fórmula de precisão deve ser tp/k (apesar de estar ainda inseguro sobre isso)
• é melhor estimar k para uma porcentagem do dataset que representa a quantidade de true-positives rotulados

Contraponto:

https://chatgpt.com/share/4c6ac2ff-488f-46b9-a589-7cb05ba628a1

cc: @verri

[ryukinix]

@verri @Oscar280578 @helen0l Deixei ambas formúlas de calcular como print, mas considerei como p@k apenas como a fórmula:

$$p@k = \dfrac{TP}{K}$$

Invés de:

$$p@k = \dfrac{TP}{TP + FP}$$

[verri]

@verri @Oscar280578 @helen0l Deixei ambas formúlas de calcular como print, mas considerei como p@k apenas como a fórmula:

$$p@k = \dfrac{TP}{K}$$

Invés de:

$$p@k = \dfrac{TP}{TP + FP}$$

TP + FP no caso tradicional vem do total de positivos preditos. No caso de recuperação de informação, esse denominador é por definição o próprio k.

Em geral, no caso do parcialmente não rotulado, uma premissa é que ao menos conhecemos a priori.

Como vocês não a conhecem certamente, sugiro observar a curva p@k vs k. Ela pode trazer bons insights quanto a isso. (Concatene as saídas dos folds para calcular uma curva só)