🧑🏻‍💻 Web

[jms0522]

민석님은 web 작업 하실 때 기능별 버전별 브랜치 생성해서 해주세요

ex) drrc_login_ver1

**ex) commit message: "type: fix title: 변경 사항 요약"

design

preview

[minseok1994]

next.js로 chatbot제작한 소스코드를 활용하여 구축해볼 예정. 잘 되면 api 수정하고, html수정하여 완성. 잘 안되면 기존대로 장고 + 리액트로 전환

[jms0522]

next.js로 chatbot제작한 소스코드를 활용하여 구축해볼 예정. 잘 되면 api 수정하고, html수정하여 완성. 잘 안되면 기존대로 장고 + 리액트로 전환

[jms0522]

제대로 된 데이터로 제작한 chroma가 아닌, RAG model chatbot model test

• ver.1.0.0

[minseok1994]

제대로 된 데이터로 제작한 chroma가 아닌, RAG model chatbot model test

• ver.1.0.0

raw data: 서울대학교병원 의학정보 columns = ['병명', '정의', '원인', '증상'] text_splitter = CharacterTextSplitter(chunk_size=600, chunk_overlap=20) embedding_function = SentenceTransformerEmbeddings(model_name="all-MiniLM-L6-v2") chroma_retriever = chroma_vectorstore.as_retriever(search_kwargs={"k": 5}) bm25_retriever.k = 5 ensemble_retriever = EnsembleRetriever( retrievers=[bm25_retriever, chroma_retriever], weights=[0.7, 0.3]) prompt = hub.pull("rlm/rag-prompt") llm = ChatOpenAI(model_name="gpt-3.5-turbo", temperature=0)

[minseok1994]

postgresql과 장고 연결(psycopg2 모듈 사용)

• ver.1.1.0

  Django settings 변경

  

사용자 인터랙션 로깅 시스템 구축

챗봇 서비스 데이터 저장 로직 구현

RabbitMQ, Celery를 통한 메시지 큐잉 시스템 구현

RabbitMQ, Celery의 역할

RabbitMQ, Celery의 구조

RabbitMQ 서버 실행(postgreSQL도 함께 실행 중)

Celery의 task. 비동기적으로 배치작업 처리

샐러리 동작 화면

[minseok1994]

로그인, 로그아웃 기능

• ver.1.2.0

  로그인, 로그아웃 기능 구현

  

로그인 시, 사용자의 대화내역을 불러와 화면에 출력하는 기능 구현

[minseok1994]

보안 오류 수정

• ver.1.2.1

  dotenv사용

  개발용으로 사용했던 뷰 파일에서 openai_api_key를 노출한 채로 깃허브에 푸시하였음.

  

푸시하자마자 openai, github에서 유출에 대한 메일이 옴

이를 개선하기 위해 dotenv 모듈을 활용해 .env로 api key를 관리하도록함

[jms0522]

0304 전처리 후 테스트

• 증상을 분류하는 기능이 많이 떨어진다. 병명을 물어보면 증상을 도출되는 답변은 잘 나오는 것을 확인했다.

• 프롬프트 수정이랑, 청크 수정을 하고 나서 또 확인해보자

[jms0522]

chunk size = 1000 와 over lap = 50 , 컬럼 하나의 text로 전처리

[jms0522]

질문에 병명이 들어가 있을 경우 확실히 더 수준 높은 대답을 하는 걸 알 수 있음.

• 질문 데이터는 실제 naver 지식인

실제 답변

[jms0522]

답변 퀄리티가 왔다 갔다함. 프롬포트 수정 필요함 (프롬포트 튜닝 제로)

챗봇 답변

실제 답변

[jms0522]

승표가 prompt 튜닝한 모델 성능

하이닥 데이터 사용

프롬프트 튜닝 안 한 네이버 데이터 사용

ㅋㅋ;

[jms0522]

0305 prompt tuning 을 통한 챗봇 성능 향상

질문은 실제 네이버 지식인 질문을 가져와 사용.

첫 번째 시도

두 번째 시도

prompt 튜닝을 통해 문맥을 이해하고 vectort db를 참고해 답변을 잘 하는 것을 확인

[jms0522]

Neo4j 활용해 db 구축

• 지식백과 데이터는 컬럼들이 연관성을 가지고 있기 때문에 그래프 형식으로 묶어서 벡터 db를 만들 예정.
• 병명에 대한 원인, 증상, 치료 등이 그래프 형식으로 지정되어 정확성이나 속도 향상이 있을거라 예상.

NAVER DIEASE

[minseok1994]

유사답변 서비스 생성

• ChromaDB(server)가 완성되지 않아 기존 랭체인llm 모델로 생성
• 추후 랭체인 모델 변경하여 api 수정 필요

[minseok1994]

도커 컴포즈 파일구성

• 같은 networks를 사용하도록 구성
• 컨테이너 간의 의존성 설정
• 장고 application의 경우 Dorkerfile 따로 구성

[minseok1994]

html, css 업데이트 및 코드 리팩토링

• bootstrap(pybo기본 템플릿 사용)에서 tailwind로 적용 -> 클래스명으로 간편하게 css 적용 가능
• 챗봇 페이지 외에 병원/약국 찾기, 백과사전 페이지 추가

[minseok1994]

로그인 페이지 재구성 및 카카오 api로그인 구현

[minseok1994]

시각화를 위한 메트릭 기능별로 추가

• urls.py에 path('metrics/', metrics, name='metrics')를 추가하여 프로메테우스로 보냄
• grafana에서 프로메테우스의 자료를 기반으로 시각화(아래)