[Feat] chatGPT output stream format

[jieun-lim]

Current behavior

chatGPT output text를 string 방식으로 API 호출에 리턴함

Expected behavior

chatGPT output text를 stream 형식으로 리턴 목적: 사용자 UX 향상

• 전체 답변을 다 생성하고 답을 display하면 사용자 입장에서 시간이 너무 오래 걸림
• 따라서, 답변을 생성하는 과정에서 중간 중간 결과를 전달함.

Solution

• flask app에서 답변 출력을 str이 아니라, stream 형식으로 하게 함
• chatGPT function call 자체 stream 여부 지정 가능 API 링크

참고 자료

• https://cookbook.openai.com/examples/how_to_stream_completions https://github.com/openai/openai-python?tab=readme-ov-file#streaming-responses https://cookbook.openai.com/examples/how_to_stream_completions

[jieun-lim]

flask가 비동기식 제공하지 않음. 현재는 그냥 동기식으로 구현해놓음.

[jieun-lim]

To Do

chatGPT API function calling 2가지로 구성

• [x] 1) cls_chatgpt(): 사용자 발화에서 날씨, 교통, 그 이외의 주제 분류하는 모델
  • stream 형식으로 출력 X
• [x] 2) res_chatgpt(): 사용자 발화에 대한 응답을 담고 있음.
  • stream 형식으로 출력해야함
  • 예) 날씨 관련 질문, 교통 경로 안내, 그 외의 대답에 대한 응답, RAG 결과 등
• [x] 3) flask 로 스트림 결과 웹앱에 반환하는 test 코드 짜기 > 백엔드에서 확인해주신다고 함.
• [x] 4) RAG도 결과 스트림 형식으로 반영 참고링크
• [ ] 5) chatGPT 결과에 따라서, llm() 함수 error Handling 파트 수정 하기