Closed LewisVille-flow closed 1 month ago
PR에 대해 대략적인 Description을 작성해주세요. Langgraph를 통한 ChatOpenAI의 설정을 통해 답변 생성 초기 agent graph의 throughput을 측정
PR에 대해 대략적인 Description을 작성해주세요.
PR의 대표적인 Log를 간결히 작성해주세요. AI server running 코드와 agent 함수 통합 Langgraph agent 형태로 llm streaming 코드 구현 기본 persona system prompt 설정
PR의 대표적인 Log를 간결히 작성해주세요.
리뷰 받고자 하는 부분이 있다면 요청사항을 적어주세요.
PR을 만들기 전에 Title convention을 맞춰주세요.
PR을 통해 해당 코드가 어떤 기능/문서/기타 를 구현하였는지 명확히 확인되어야 합니다. 아래 중 하나의 prefix를 사용하여 PR title을 작성해주세요.
[Bugfix]
[Doc]
[Api]
[Prompt]
[CI/Build]
[Misc]
평균적인 Throughput은 다음과 같다. 출력하는 문장의 길이에 따라 1 - 50 token/s 를 달성. 답변하는 문장이 길 수록 "Avg generation throughput"이 증가하는 경향을 보임. 많은 기록을 통해 측정해야하겠지만, 평균적으로 약 10 - 30 token/s 를 기록. (3090 24GB VRAM 기준)
Overview
Change Log
To Reviewer
Issue Tags
PR Checklist (Click to Expand)
PR을 만들기 전에 Title convention을 맞춰주세요.
PR Title and Classification
PR을 통해 해당 코드가 어떤 기능/문서/기타 를 구현하였는지 명확히 확인되어야 합니다. 아래 중 하나의 prefix를 사용하여 PR title을 작성해주세요.
[Bugfix]
for bug fixes.[Doc]
for documentation fixes and improvements.[Api]
for new api feature.[Prompt]
for better prompts.[CI/Build]
for build or continuous integration improvements.[Misc]
for PRs that do not fit the above categories. Please use this sparingly.