brochero / TFM_DanSer

0 stars 1 forks source link

Efficiency Macros #12

Open brochero opened 1 year ago

brochero commented 1 year ago

I have added the efficiency macros as I have them.... we have to check all the needed inputs, but in theory, it runs using all the outputs from the BDTValidation.

DaniloSerna commented 1 year ago

Ah Javi, y me puedes indicar cómo hago para ejecutar las eficiencias que me dijiste que debías revisar?

Por otro lado, los gráficos de control también sería bueno que los generara?

Un saludo!

brochero commented 1 year ago

Me pongo en ello... Cuando hablamos? Puede ser mañana? Asi ultimamos todo.

DaniloSerna commented 1 year ago

Dale, dime a qué hora podrías (hora España)?

brochero commented 1 year ago

1pm de aqui? Asi alli es eso de las 6am

DaniloSerna commented 1 year ago

Vale

DaniloSerna commented 1 year ago

Listo, me compartes link de zoom, o por cuál plataforma?

brochero commented 1 year ago

https://cern.zoom.us/j/6982274980?pwd=d0hkRHQyYndianFiRVp3d1JLcG9KUT09

brochero commented 1 year ago

Hoy es fiesta aqui, asi que me tomara un poco mas de tiempo ;)

DaniloSerna commented 11 months ago

Debido a los impedimentos que he tenido con Keras, simultáneamente he explorado otros métodos del TMVA:

La BDT de toda la vida: image

BDTG (Con Gradient Boost en vez del Adaptative boost) overtrain_BDTG

DNN con CPU: overtrain_DNN_CPU_final

DaniloSerna commented 11 months ago

Ya he ejecutado la macro de Eficiencias, he ejecutado la EffMacros/BDT/BDTEfficiencyCurve.C, me confirmas si es esta ya que no encontré una que se llamara EffScore que creo es la que habías mencionado:

Las eficiencia de la BDT salen similar a lo que debería de dar, sólo hay ciertas regiones que no salen muy bien, como la de 3j3b, no estoy seguro si es debido a que durante los entrenamiento apliqué el corte de region >= 6:

image

Por otro lado, para la BDTG el rango del eje X no aumenta más (no sé si es que ya no existen más valores), también presenta el mismo ruido en la región 3j3b:

image

image

brochero commented 11 months ago

Yo los veo bastante bien! Si, el macros es ese, el BDTEfficiencyCurve.C. Cuanto tiempo tardo en correr? Porque ahora, lo que puedes hacer es con esos puntos de corte, correr el BDTValidation de nuevo aplicando el BDT 0.31 (por ejemplo) para asi luego calcular las eff. Lo mismo, los rangos de los histos originales los puedes cambiar, eso si, ten mucho cudado al hacer eso.

DaniloSerna commented 11 months ago

Los de TMVA no tardan mucho en correr, por ahí 10-12min. Pero he tratado de modificar los rangos de los histos y no cambian de esto:

image

image

brochero commented 11 months ago

ok, perfecto, entonces los corres con los cortes y veo el macro.

El rango este que me muestras es el de pintar. Tienes que modificar el del histo original en el BDTValidation

brochero commented 11 months ago

Has un backup por si las moscas

DaniloSerna commented 11 months ago

bien, entiendo, sería sólo modificar el del BDTCut?

brochero commented 11 months ago

exacto

DaniloSerna commented 11 months ago

.Ahí al final del rango están pintándose algo raro:

image

DaniloSerna commented 11 months ago

Igual ya ejecuté nuevamente la BDTValidationcon los valores de corte para cada caso (BDTcut), para calcular el %eff a partir de estos nuevos archivos que se generan cómo sería el proceso?

Por otro lado, los pesos de PyKeras aún siguen ahi leyendo...lleva como 5 horas :/

image