RodrigoZepeda / CapacidadHospitalariaMX

Repositorio con datos públicos y modelos para predicción de capacidad hospitalaria en México
MIT License
3 stars 3 forks source link

Evaluación ambigua #3

Open fou-foo opened 3 years ago

fou-foo commented 3 years ago

"Capacidad predictiva. Este repositorio es para construir modelos que nos sirvan para saber cómo se va ser la ocupación hospitalaria en el país. No necesitamos que el modelo explique, sólo que prediga." Lo anterior no define un método de selección de modelos o bondad de ajuste, además el código no ejemplifica ninguna prueba efectuada hacerca de la evaluación del resultado. Bajo este enfoque todo es subjetivo.

RodrigoZepeda commented 3 years ago

No hemos agregado las pruebas que tenemos danos al viernes próximo para subirlas y poder reescribir eso. En breve lo único que checamos es la verdadera probabilidad de los intervalos (conteo de cuántos caen en el ic / total )

fou-foo commented 3 years ago

'verdadera probabilidad', seguimos a la espera

RodrigoZepeda commented 3 years ago

Sí, perdón hemos estado corriendo. @valperez ¿podrías subir el código de evaluación?.

Lo que intenté decir es que para cada uno de los periodos seleccionados $t$, para cada momento $s$ ($0 < s < 90$) si se observó $x_{t+s}$ y el modelo al $(1 - \alpha) \times 100\%$ (credibilidad) generó unos intervalos $Cs = [l{s+t}, u_{t+s}]$ estimamos la "verdadera probabilidad" de los intervalos en el periodo $[t,t+90]$ mediante: $$ \hat{p}_t = \sum_s I(Cs, x{t+s} ) / 90 $$ donde $ I(Cs, x{t+s} )$ es la indicadora de que $x_{t+s}$ esté en $C_s$.

Ahora, evaluar así tiene sus desventajas (digamos el IC $[0,1]$ siempre va a funcionar perfecto pero no es la idea) y no he pensado a profundidad cómo integrar la amplitud del IC a la función de pérdida ¿alguna idea @fou-foo ? También si consideras una mejor manera de evaluar estamos abiertos.