[FEATURE] Streaming de réponse

deeplore-ai / deeplore

https://village-and-lies.netlify.app/

19 stars 1 forks source link

[FEATURE] Streaming de réponse #3

Closed JosselinTILLAY closed 3 months ago

JosselinTILLAY commented 4 months ago

Plutôt que d'attendre la réponse entière pour l'afficher ensuite ligne par ligne, il faudrait utiliser le straming de réponse dont on a parlé pendant le hackathon

JosselinTD commented 3 months ago

J'ai essayé. Dans le cadre de gemini (qui est le modèle qu'on utilise en ce moment), le résultat n'arrive pas plus vite, et ça complexifie beaucoup le code