모니터링 통합 로그 대시보드개발(Loki)

[stardom3645]

모니터링 통합 로그 대시보드개발(Loki)

• mold, cube, glue에 존재하는 로그를 promtail을 통해 수집하고, wall의 LOKI에게 전달한 후, LOKI는 색인화하여 Grafana를 통해 로그 를 출력

• [ ] Grafana에 Loki 데이터 소스 설정

  • 수집 로그 파일
    • mold: /var/log/cloudstack/
      • management.log
      • management-server.log
      • access.log
      • usage.log
    • cube:
      • /var/log/messages/
    • scvm:
      • /var/log/ceph/*

• [ ] 에러 또는 경고 로그 출력 패널, 에러 로그 수 바 차트 생성

• [ ] 로그 레벨 필터 또는 검색기능 추가

  • WARN, ERROR

• [ ] Loki 쿼리 성능 최적화

[stardom3645]

피드백

240701

• [x] 모든 요소에 promtail 설치하기 (sshfs 사용하지 않도록 변경)
• [x] 아키텍처 변경하기
  • 논리 구조로 변경
  • cube, glue, mold 로그 파일들 -> wall
  • [x] promtail, loki 설치, 구성 방법 기술
  • [x] 로그 수준을 WARN, ERROR 동시에 볼 수 있도록 변경
  • [x] 경고, 에러 로그가 발생될 경우, 하나의 로그를 한 세트로 볼 수 있도록 보여주기(한 에러 이벤트에 대한 정보가 분리되지않고 한 번에 알 수 있도록)
  • [x] cube, scvm, mold 따로 볼 수 있도록 변경(한 화면에 cube1~3 보여지도록)
  • -> 대시보드 링크로 해결
  • [x] scvm에 promtail, loki docker로 있지만 구성 어려울 경우 따로 작동 시켜도 됨
  • -> 별도로 promtail 작동
  • [x] 로그가 한 주 동안 어느정도 용량으로 loki DB에 저장되는 지 확인

240708

• [x] 로그 라벨 레벨은 loki에 의해 info로 분류 되었는데 실제 로그 내용은 WARN으로 표기되는 현상 해결
• [x] scvm, mold agent log도 볼 수 있도록 하기
• [x] 패널 옵션 'warp line' 활성화 하기
• [x] row 추가하여 패널을 동적 추가하도록 설정하기
• [x] 로그 셀렉트 변수 라벨링 되는지 확인하기
• [x] 검색기능 추가(모든 텍스트 검색 되는 지 확인하기)
• [x] 로그 다운로드 기능 데이터 정확하게 다운로드 할 수 있도록(화면과 다운로드 파일 일치)
• [x] mold 기준 management이하 모든 log파일 로그가 섞여서 나오는데 이것도 로그 파일별로 필터링 되도록
  • 파일 별로 로그 탐색 가능
• [x] loki, promtail 수집 기간 설정 가능한지 확인
  • promtail에서 설정하는 것이 더 효과적이고 관리 용이 (scrape_interval: 시간)
• [ ] 프로메테우스의 service 설정처럼 데이터 쌓이면 조건에 의해 데이터 삭제 가능한 지 확인
  • loki 설정 가능 -> 서비스에서 작동되는 지 확인 필요

240715

• [x] 로키 수집기간 말고 용량으로도 제한되는 지 확인 -> 용량으로 제한하는 기능 없음
• [x] 수집하는 로그파일 최대한 적게, 중복 안되게
• [x] message 로그파일은 모두 들어가게 -> mold의 경우 log 에러 경고 카운트를 management.log, messages 함께 카운트 해야하는 것인지?
• [x] 한 로그 페널에 여러 호스트의 로그 보여줄 수 있도록
• [x] 에러, 경고 카운트는 모든 제품을 종합해서 카운트

240729

• [x] 전체적으로 기능상 오류 확인
• [x] 그래프 막대 색상 변경
• [x] 패널 타이틀 조화롭게 추가(현재 어떤 로그를 보고 있는 지 표현) -> 해당 기능 삭제
• [x] mold, mold_message 통일 가능 여부 확인

240805

• [x] 패널 배치 에러 -> 경고 -> 종합 순서대로 변경
• [x] scvm 로그 파일 block uuid 부분 추가 여부 확인하기
• [x] error 중에 운영 지장없는 로그는 동적으로 필터링이 되는 지 확인하고 안되면 수동으로 가능한지 확인(promtaill 단계에서 가능한지 확인) -> 동적 필터링은 연구가 필요하고 promtail 설정 단계에서 필터링 가능
• [x] 그래프는 꺾은 선으로 (null 은 zero)
• [ ] 최종적으로 대시보드 설치 동적으로 가능하도록
• [x] 전체 로그(job을 all) 한 로그를 화면에 표시된 거 말고 파일로 다운받을 수 있는지 확인 -> loki cli를 통해 loki가 수집한 로그를 json형태로 다운받을 수 있으나 그라파나에서는 기능없음
• [x] 용량 정확하게 파악해서 증가분 기록하고 최대로 얼마나 쌓을 수 있는 지 확인

240812

• [x] 불필요한 로그파일을 히든 변수로 필터링 처리(기존 config 단계에서의 필터링은 해제)
• [x] 로그라인 limit 늘리기 -> 로키 설정에서 리미트를 상향하고 그라파나 loki 데이터 소스에서 20000라인까지 증가시킨후 로그를 읽었더니 ccvm cpu 23%까지 증가
• [x] 로그를 web에서 볼 수 있고 정제해서 다운로드 가능한지 -> curl 방식은 설정에서 limit를 늘려도 19940라인까지만 가능. 그 이상은 응답없음 -> curl api형식으로는 24000라인까지 가능. 그 이상은 응답없음

240820

• [x] JOB -> 대상 (변수 이름 변경)
• [ ] 로그 파일(변수) 앞에 job 이름으로 라벨링이 되는지 -> 해당 건에 대해 제고하기. job에서 선택을 하기 때문에 굳이 파일 변수 앞에 job을 붙일 필요가 있는지
• [x] 메인 대시보드에 log error 카운트 넣어보기
• [x] 90일로 로그기록 설정하기
• [x] 대시보드 목록에 숫자 없애보기(sort 제대로 되는지 확인) -> 방법 찾지 못함

240826

1. 테스트 환경 구성(loki, promtail, 기타 설정)
2. 테스트 환경에서 로그 대시보드 구성
3. 테스트 환경에서 grafana org db 파일로 변환해놓기
4. db파일 db 편집 프로그램으로 기존 찌꺼기 db 정보 날리기
5. monitor 저장소에 존재하는 파이썬 파일처럼 loki 파이썬 파일 만들어서 마법사에서 실행되도록 하기
6. 테스트 환경 큐브에서 wall 대시보드 마법사 실행하기(ablestack.json 변경)

[stardom3645]

Loki, Promtail 설치 및 구성

loki 설치, 실행

설치 대상

• [mold]

  
  firewall-cmd --zone=public --add-port=3100/tcp --permanent
  firewall-cmd --reload

wget -P /root/ https://github.com/grafana/loki/releases/download/v3.0.0/loki-linux-amd64.zip unzip loki-linux-amd64.zip mv /root/loki-linux-amd64 /usr/local/bin/loki chmod +x /usr/local/bin/loki

설정 파일 구성

샘플 설정파일 다운로드

wget -P /root/ https://raw.githubusercontent.com/grafana/loki/main/cmd/loki/loki-local-config.yaml

샘플 설정 변경 (지원되지 않는 pattern_ingester 삭제)

sed -i '/pattern_ingester:/,/^[^ ]/ {/^[^ ]/!d}' loki-local-config.yaml sed -i '/pattern_ingester:/d' loki-local-config.yaml

실행

/usr/local/bin/loki -config.file=loki-local-config.yaml

## promtail 설치, 실행
### 설치 대상
- [mold], [cube1, cube2, cube3], [glue1, glue2, glue3]

firewall-cmd --zone=public --add-port=9080/tcp --permanent firewall-cmd --reload

wget -P /root/promtail https://github.com/grafana/loki/releases/download/v3.0.0/promtail-linux-amd64.zip unzip promtail-linux-amd64.zip mv /root/promtail/promtail-linux-amd64 /usr/local/bin/promtail chmod +x /usr/local/bin/promtail

설정 파일 구성

샘플 설정파일 다운로드

wget -P /root/ https://raw.githubusercontent.com/grafana/loki/main/clients/cmd/promtail/promtail-local-config.yaml

샘플 설정 변경

wall로 clients 주소 변경

sed -i "s|url: http://localhost:3100/loki/api/v1/push|url: http://$(grep 'ccvm' /etc/hosts | awk '{print $1}'):3100/loki/api/v1/push|g" promtail-local-config.yaml

label job name 변경

sed -i "s/job: varlogs/job: $(hostname)/g" promtail-local-config.yaml

로그를 한 세트로 볼 수 있도록 보여주기

pipeline_stages:

• multiline: firstline: '^\S'

실행

/usr/local/bin/promtail --config.file=promtail-local-config.yaml