creaton60
commented
3 years ago 3장
- 모니터링과 로깅
메트릭과 로그의 차이
모니터링 패턴
-
USE 패턴
-
RED 패턴
쿠버네티스 메트릭
cAdvisor
- 컨테이너 어드바이저는 노드에서 실행중인 컨테이너 리소스와 메트릭을 수집
- kubelet 에 내장되어 모든 노드에서 실행
메트릭 서버
- 메트릭 서버는 CPU, 메모리와 같은 리소스 메트릭 수집
- kubelet API 로 부터 수집하여 메모리에 저장
- 사용자 정의 메트릭 API 를 이용해 임의의 메트릭을 수집
kube-state-metrics
- 쿠버네티스에 저장된 오브젝트를 모니터링 할 수 있는 쿠버네티스 추가 기능
- 클러스터에 배포된 쿠버네티스 Object 의 상태를 파악하는데 중점을 둠
모니터링 도구
- 프로메테우스 https://prometheus.io/
- InfluxDB https://www.influxdata.com/
- 데이터독 https://www.datadoghq.com/
- 시스딕 https://sysdig.com/
프로메테우스를 사용한 모니터링
- 프로메테우스 서버
- 프로메테우스 오퍼레이터
- 노드 내보내기
- kube-state-matrics
- 알람매니저
- 그라파나
로깅도구
EFK
- Elasticsearch + fluentd + kibana
알림
- 알람과 모니터링 밸런스 필요
모니터링 모범 사례
-
노드와 k8s 의 모든 컴포넌트에 대한 사용률, 포화도, 오류율을 모니터링
-
애플리케이션 속도, 오류, 시간 모니터링
-
시스템과 내부를 조사할 떄는 화이트 박스 모니터링
-
시스템의 예측하기 힘든 상태와 징후 모니터링시에는 블랙박스 모니터링
-
정확도 높은 메트릭을 원한다면 시계열 기반 메트릭
-
모니터링 시스템 활용 -> 프로메테우스
-
메트릭의 분포 시각화
로깅 모범 사례
- 메트릭 모니터링과 함께 로깅
- 30 -45 일 로그만 저장 그 이상은 장기간 저장할 수 있는 저비용 리소스 사용
- 사이드카 패턴 활용
알람 모범 사례
- 알람 피로 조심
- 지속적인 개선
- 일시적인 문제 알람 안함
2장
2장은 개발자 워크플로 입니다.
개발 환경 설정 관련 내용
개발 환경 설정 모범 사례
개발자 환경 구성에 대해, 온보딩 / 개발 / 테스팅으로 나눠서 고려
개발 클러스터를 구축할때 단일과 개발자별 클러스터를 선택할 수 있음 -> 단일 빅 클러스터가 더 나은 방법
클러스터에 사용자 추가 시, 유저 별 네임 스페이스만 접근할 수 있도록 설정 추천 -> 리소스 크기 제한 추천
개발자는 오래된 리소스를 회수하지 않는다 -> 오래된 리소스 회수 자동화
클러스터 수준의 서비스 들에 대한 고민 필요 (로그,모니터링,템플릿 등)