🖥️ 모니터링 시스템 구축

[jms0522]

Grafana / Prometheus

• 오픈 소스 모니터링 툴 grafana를 활용해서 전반적인 데이터 흐름을 파악하고자 하는 의도.

• 구상도 (예시)

[jms0522]

기본적인 prometheus 데이터 시각화

[jms0522]

postgresql 연동

• postgresql 설치 후 PostgreSQL Server Exporter을 설치해야함
• PostgreSQL Server Exporter
• 이걸 prometheus랑 연동시키면 postgres 데이터 모니터링을 할 수 있을거라 예상.

• template import
• 연동완료

[jms0522]

모니터링 시스템 계획

• 클라우드 인프라 모니터링 (리소스 사용량, 성능 지표 및 상태)
• 컨테이너 docker 모니터링 (kubernetes도 가능함 )
• 애플리케이션 성능 모니터링 (모델의 성능, 응답속도 등등)
• 로그 모니터링 (elastic search와 같은 로깅 시스템 통합)

[jms0522]

postgres alert

• 짜증나는게 모니터링은 가능한데 그거에 대한 알람이 계속 안 오고 있는 상황

• 데이터를 집어 넣었을 때 이런 알림이 안 옴.

[jms0522]

chatbot을 통해 업데이트 되는 데이터를 모니터링 하는 시스템 구축

• 모델에서 들어오는 데이터와 로그 데이터등을 테이블로 나눠서 각각의 테이블을 패널로 생성하고 모니터링 하려고 시도 중
• 만약 데이터베이스 자체를 변경해서 생성하는 경우 더 쉽게 구현이 가능하긴 할 듯.

[jms0522]

데이터 베이스 테이블 별 모니텅 조회 구축 완료

• 데이터 log 기록을 일부로 발생 시킴

• 파란색 데이터로 표시함
• 데이터 log 쪽에 급격한 그래프 생성되는 것을 확인하였음.

[jms0522]

EC2 환경에서 구축

[jms0522]

테이블 세분화 / github

[jms0522]

elk를 사용 -> 시각화

100 를 참고하면 된다.

[jms0522]

docker container

cadvisor을 이용해 container 정보 가져오기

컨테이너 확인 ( 특정 compose에만 적용되어 모든 container는 아닌 모양)

prometheus metric

dashboard

[jms0522]

Django dashboard 생성

chap app dashboard log 세분화

@minseok1994

• 로그 페이지 세분화
• rabbitMQ도 exporter 받아서 더 많은 정보를 담을 수 있음

[jms0522]

chroma db 모니터링

9411번 포트 들어가면 모니터링 가능 @stfano @minseok1994

[jms0522]

RabbitMQ 모니터링

이런식으로 엘라스틱 서치에서도 모니터링, 시각화는 가능하지만

1. 메트릭 수치는 현재의 것만 모니터링이 가능하다.

2. 해당 UI 접근이 불편하다.

3. alert 기능을 제공하지 않는다.

이런 이유로 rabbiMQ도 prometheus + grafana 대시보드에서 모니터링 하는 걸 더 편의성이 좋을 거 같아, 그렇게 진행

[jms0522]

RabbitMQ

exporter 설치

docker-compose.yml에 같이 정의함

guest의 권한을 줘서 연결을 하게 만들어야함

메시징 처리 속도, 지연 속도, 처리되지 않은 메세지의 수 등등 다양한 지표를 시각화함

[jms0522]

Django 시각화 세분화

• 응답속도, 평균 시간 등등 세분화

  - 좀 더 웹의 성능적인 부분을 모니터링 하기 위함