Telegraf 를 이용한 노드 상태 모니터링

[jhgoh]

Telegraf 와 influxdb를 이용하여 노드 상태를 모니터링 하기.

• [x] Influxdb 설치, 설정
• [x] node별 telegraf 설치, 설정

[jhgoh]

테스트로 설정 완료.

hep 서버에 influxdb 설정

• influxdb는 k8s로 이미 설치되어 있었음. NodePort로 포트 지정하고 manifest 설정.
• ssh port forwarding으로 들어와서 influxdb 각종 세팅은 웹 인터페이스로 설정, bucket과 token생성도 웹으로 진행.

각 노드에 telegraf 설치 (https://docs.influxdata.com/telegraf/v1/install/?t=RedHat+%26amp%3B+CentOS)

• influxdb 의 repo를 추가하고 dnf -y install telegraf
• 설치 후 /etc/telegraf/telegraf.conf 파일 수정 (url, token 등등은 별표 표시로 가림)

  [global_tags]
  [agent]
  interval = "10s"
  round_interval = true
  metric_batch_size = 1000
  metric_buffer_limit = 10000
  collection_jitter = "0s"
  flush_interval = "10s"
  flush_jitter = "0s"
  precision = ""
  hostname = ""
  omit_hostname = false
  [[outputs.influxdb_v2]]
  urls = ["***************"]
  token = "****************"
  organization = "*******"
  bucket = "*******"
  [[inputs.cpu]]
  percpu = false
  totalcpu = true
  collect_cpu_time = false
  report_active = false
  [[inputs.kernel]]
  [[inputs.system]]
  [[inputs.nvidia_smi]]

• telegraf 서비스 재시작 service telegraf restart

[jhgoh]

grafana에서 datasource 설정 뒤 대시보드에 각종 아이템 추가함.

[jhgoh]

노드의 이미지에 telegraf 설치하고 이미지 리빌드.

cp /etc/yum.repos.d/influxdb.repo ./etc/yum.repos.d/
dnf -y install telegraf --installroot=/opt/ohpc/admin/images/rocky8/
\cp /etc/telegraf/telegraf.conf ./etc/telegraf/telegraf.conf
wwvnfs rocky8

작업 완료.

[jhgoh]

gpu01 리붓 후 확인 결과 telegraf가 제대로 설치된 상태가 아닌 것으로 보임.