search

lingo-chat / prompt

lingo-chat AI server (w/ 프롬프트엔지니어링, RAG, Agenting, Dataset generation)
0 stars 3 forks source link

[Feat]: Langgraph agent 구현 및 AI server 연동 (Issue #9) #10

Closed LewisVille-flow closed 1 month ago

LewisVille-flow commented 1 month ago

Overview

PR에 대해 대략적인 Description을 작성해주세요.

  • Langgraph를 통한 ChatOpenAI의 설정을 통해 답변 생성 초기 agent graph의 throughput을 측정

Change Log

PR의 대표적인 Log를 간결히 작성해주세요.

  • AI server running 코드와 agent 함수 통합
  • Langgraph agent 형태로 llm streaming 코드 구현
  • 기본 persona system prompt 설정

To Reviewer

리뷰 받고자 하는 부분이 있다면 요청사항을 적어주세요.

Issue Tags

PR Checklist (Click to Expand)

PR을 만들기 전에 Title convention을 맞춰주세요.

PR Title and Classification

PR을 통해 해당 코드가 어떤 기능/문서/기타 를 구현하였는지 명확히 확인되어야 합니다. 아래 중 하나의 prefix를 사용하여 PR title을 작성해주세요.

  • [Bugfix] for bug fixes.
  • [Doc] for documentation fixes and improvements.
  • [Api] for new api feature.
  • [Prompt] for better prompts.
  • [CI/Build] for build or continuous integration improvements.
  • [Misc] for PRs that do not fit the above categories. Please use this sparingly.
LewisVille-flow commented 1 month ago

평균적인 Throughput은 다음과 같다. 출력하는 문장의 길이에 따라 1 - 50 token/s 를 달성. 답변하는 문장이 길 수록 "Avg generation throughput"이 증가하는 경향을 보임. 많은 기록을 통해 측정해야하겠지만, 평균적으로 약 10 - 30 token/s 를 기록. (3090 24GB VRAM 기준)