Implementar JSON na resposta da OpenAI

pmarkun / lex-firebase

1 stars 0 forks source link

Implementar JSON na resposta da OpenAI #1

Open luisleao opened 1 week ago

luisleao commented 1 week ago

forçar a saída do assistente em json para incluir alguns parâmetros:

a mensagem de resposta
o quão confiante está da resposta data
de onde veio essa informação
"likelihood to vote"
user reported issue
user confuse
e alguma outra coisa que a gente achar importante.

Neste momento vamos apenas retornar o objeto de resposta.

luisleao commented 6 days ago

Uma questão em relação à esta mudança é que ela pode impactar no formato de reposta via WhatsApp, uma vez que estamos recebendo o texto no formato de streaming agora.

Pode ser interessante rodar uma chamada separada da LLM, usando a thread do usuário, logo após respondê-lo.