IIC2433 / Syllabus-2024-2

44 stars 1 forks source link

[Tarea 1] Duda sobre dimensionalidad Al aplicar el gradiente #5

Open ibgarrido opened 2 months ago

ibgarrido commented 2 months ago

Hola a todos!

Realizando la tarea y basándome en el código del gradiente del profe Adrian, al intentar aplicarlo directamente me tiraba un error en la dimensionalidad esto porque

self.beta = np.random.randn(number_of_features, 1) 

debería ser de dimensionalidad (4,1) en lugar de (3,1) por la variable independiente (El $b_0$). Ahora bien, lo que hice fue agregarle ese variable adicional simplemente y fijarla como cero.

Mi duda es ¿Debería aplicarle también a ese $b_0$ la resta entre el gradiente y el Learning rate ? Lo pregunto porque aplicándole eso o no obtendría resultados distintos.

Duda adicional: El log loss también debo implementarlo o se puede usar el de sklearn? Saludos!

juanreutter commented 2 months ago

Claro, en clases mencioné que considerasen que sus regresiones no usan el \beta_0. Si lo quieres usar, es un parámetro más que debe ser ajustado con descenso de gradiente (ojo que en ese caso las derivadas para calcular los gradientes también cambian).