Tarea 3: Error al interactuar con la api del LLM

[mguzman20]

Hola estoy intentado generar una respuesta a un promt haciendo la siguiente llamada

POST http://tormenta.ing.puc.cl/api/generate { "model": "integra-LLM", "prompt": promt como str, "context": textos de peliculas como str , "stream": false }

y me tira el siguiente error:

{ "error": "json: cannot unmarshal string into Go struct field GenerateRequest.context of type []int" }

y si mando la misma request sin contexto si funciona. Mi pregunta es como es el formato para enviar el contexto? Ahora misma estoy generando embedings de mi prompt y busco los extractos mas parecidos utilizando busqueda vectorial. y luego añado esos extractos al contexto.

[arturokunder]

Revisa bien la documentación. context se refiere a the context parameter returned from a previous request to /generate, this can be used to keep a short conversational memory. O sea, no es el texto en si, si no un id que referencia a un prompt anterior. Lo que puedes hacer es incorporar el contexto como texto dentro del promt.