IngElecPuc
commented
3 years ago Hola El output debe ser un índice para que puedas acceder a tu tabla Q. Como se trata de una discretización, va a transformar de R^n-> N para poder abstraer un estado de los sensores. Esto significa que tienes que definir rangos, en cada sensor (por ejemplo digamos que quieres dividir la velocidad en 10 rangos) y cuando un valor en concreto de medición para un sensor cae en ese rango vas a tomar un valor discreto (desde 0 hasta N-1, con N la cantidad de rangos que elegiste). Ahora, como tienes varios sensores vas a tener varios valores discretos, y esos tienes que transformarlos en un único número. Se supone que tienes que obtener un único estado para mediciones similares. El ejemplo más sencillo es que dividas cada sensor en 10 rangos, y tomes de 0 a 9 los valores que se activan cuando una medición cae en un rango. Con tres variables a sensar, tienes 10^3 combinaciones, para un máximo de 1000 estados. Se vuelve fácil, pues cada combinación es un dígito en un número de 0 a 999. El tema es que también tienes que discretizar la acción. En ese caso eliges un índice, digamos también de 0 a 9, y eso lo conviertes en un valor de torque de punto flotante para el actuador. El problema es que ahora tu matriz Q tiene 10000 combinaciones de estado acción, lo cual la hace muy grande. Entonces tienes que saber elegir tus discretizaciones para que sean pequeñas, pero no demasiado para que sigan contando con una buena resolución. Esto se transforma en un problema combinatorio, y de elegir una buena representación. Una base 10 es muy cómoda, pero no sirve. Tienes que buscar un equivalente. Saludos
antoniaalcayaga
Hola!
No me queda claro que representa el output de la función state_for, ¿es un índice cualquiera para diferenciar los estados o debe tener algún significado dependiendo de los sensores como darle mas importancia a alguno? Como que no entiendo cual seria la utilidad de que tuviera un significado :(
Desde ya muchas gracias!