[Feature]: GCP vm api 서버와 ai 서버의 websocket 연결 - Githubissues

lingo-chat / prompt

lingo-chat AI server (w/ 프롬프트엔지니어링, RAG, Agenting, Dataset generation)

0 stars 3 forks source link

[Feature]: GCP vm api 서버와 ai 서버의 websocket 연결 #19

Closed LewisVille-flow closed 2 weeks ago

LewisVille-flow commented 1 month ago

Background

추가하려는 기능에 대해 간결하게 설명해주세요.

websocket을 관리하는 서버를 운영하기로 결정함에 따라 llm agent 코드의 input/output 통신 코드 수정이 필요

Details(Todo List)

[x] websocket 서버 연결 함수 작성
[x] #20
[x] websocket 서버 코드 ts / python 비교
[x] 유저 request(messages)의 효과적인 관리를 위한 Queue 세팅 방법 확인(REDIS)
[ ] api 서버와 ai 서버의 1대1 연결로 인한 multiple decoding이 불가능한 문제 해결방안 탐색

etc(optional)

기타 자세한 Description, 관련된 Link 등이 있다면 작성해 주세요.