T4 parte 2 train

[vice-rosas99]

tengo una duda respecto a la función train, en el código se nos dice que debemos obtener el nuevo estado una vez que se ejecuta la acción, sin embargo este nuevo estado no se usa para nada (por lo que puedo ver). Entonces pregunto para qué sirve ese nuevo estado?

[dfloreaa]

Hola lamento por la respuesta anterior, se trataba de un error, Como se estudió en clases y como debería haber sido comentado en la cápsula, utilizamos el estado siguiente para estimar recompensas futuras por la acción que cometimos. Esto se lleva a cabo cuando actualizamos nuestra Q-Table siguiendo la fórmula que estudiaron anteriormente (y que se encuentra incompleta en la cápsula de RL):

$new \ qvalue = (1-\alpha) \cdot argmax \ Q[xi] + \alpha \cdot (reward + \gamma \cdot argmax \ Q[x{i+1}])$

Con $\alpha$ el learning rate (LR) y $\gamma$ la tasa de descuento (DISCOUNT_RATE)