From nanoparticles parameters to spectrum

Anoto algunas cosas comentadas con jjgarciae:

[ ] Emplear distintas ramas de input para datos numéricos y categóricos
[ ] Si pasamos de pocos valores a muchos, suele funcionar hacer ir creciendo el número de neuronas en cada capa.
[ ] MSE para quitarnos de líos, pero probar en el futuro Huber aunque mete algún hiperparámetro más. También ha usado el error relativo como loss, cuando su espectro tenía cambios de signo y de escala.
[x] SELU by default como activación.
[ ] val_loss como métrica bien. Por otro lado, muchas veces la métrica para el optimizador es custom en ciencia, por ejemplo, solía usar la precisión en la integral de los espectros.
[ ] Darle una vuelta a entrenar los espectros o su logaritmo.
[ ] La función de activación de la output layer normalmente es ninguna para este tipo de problemas, sin embargo, mirar qué valores de output queremos para asegurarlo. Del Hands-On: "However, if you want to guarantee that the output will always be positive, then you can use the ReLU activation function, or the softplus activation function in the output layer. Finally, if you want to guarantee that the predictions will fall within a given range of values, then you can use the logistic function or the hyperbolic tangent, and scale the labels to the appropriate range: 0 to 1 for the logistic function, or –1 to 1 for the hyperbolic tangent."

Eva-ortiz / ML_hodgepodge