Klimatbyran / garbo

Klimatkollen's data pipeline, processing company sustainability reports
3 stars 6 forks source link

Continue response when json is too long #179

Open irony opened 3 months ago

Greenheart commented 3 months ago

One example of a case where a too long response crashes upcoming jobs: https://discord.com/channels/1049333222309371965/1257589432031252561

Det här kan eventuelly bero på att kontexten blir för lång (för mycket input till GPT-4o)

Relevant logg som visar att input till GPT-4o mycket riktigt avbrutits mitt i JSON-strängen. https://api.klimatkollen.se/admin/queues/queue/reflectOnAnswer/566656f9-4fee-464c-8a7a-0c449c7f9034?status=failed