로그 저장용 DB 선정

[JuyeoungJun]

In GitLab by @gm2202983 on May 18, 2021, 17:29

크론의 로그 저장용 DB를 선정해야 합니다.

NosqlDB중 로그데이터 저장에 적합한 시계열 데이터베이스(TSDB)를 조사 및 학습 후 선정

TSDB란?

• 시계열 데이터 즉, 시간(time)과 값(value)이 한 쌍을 이루는 데이터를 시간에 따라 순차적으로 저장하고 서비스하는 시스템을 말한다. 즉 해당 값이 언제기록됐는지를 알 수 있다.

TSDB 종류(후보)

• InfluxDB
• Kdb+
• Graphite
• Prometheus
• OpenTSDB
• MachBase

TSDB 사용 이유

• 실시간 데이터 수집, 모니터링, 분석에 용이
• 오래된 데이터 삭제가 편리 -> RDB로 데이터 삭제시 클러스터 인덱스 및 기타 관계때문에 어려운데 반해 편리함
• 데이터 입출력이 빠름 -> RDB는 B+Tree 구조인데 반해 TSDB는 시간을 축으로하는 파티션 형태의 구조 사용, 트랜잭션 미지원

[JuyeoungJun]

In GitLab by @gm2202983 on May 18, 2021, 17:30

changed title from 로그저장용 DB 선정 to 로그저장용 DB 선정{+ 필요+}

[JuyeoungJun]

In GitLab by @gm2202983 on May 18, 2021, 17:30

changed the description

[JuyeoungJun]

In GitLab by @gm2202981 on May 18, 2021, 17:51

참고자료

InfluxDB: 2021년 5월 현재 db-engines.com에서 제공하는 TSDB 순위에서 압도적 1위

• 출처: https://db-engines.com/en/ranking/time+series+dbms

[JuyeoungJun]

In GitLab by @gm2202981 on May 21, 2021, 12:45

Telegraf

• InfluxDB에서 Go 언어로 개발한 오픈소스 데이터 수집기.
• 작은 메모리를 사용하며 개발자 메트릭 수집을 쉽게 지원하는 것을 지향
• InfluxDB와의 높은 연동성 제공.

[JuyeoungJun]

In GitLab by @gm2202981 on May 26, 2021, 13:08

InfluxDB 최적화

참고 자료:

• https://stackoverflow.com/questions/54813525/influxdb-write-points-with-same-timestamp-but-different-measurement
• https://docs.influxdata.com/influxdb/v1.8/troubleshooting/frequently-asked-questions/#how-does-influxdb-handle-duplicate-points

[JuyeoungJun]

In GitLab by @gm2202981 on May 26, 2021, 13:09

changed title from 로그저장용 DB 선정{- 필요-} to 로그{+ +}저장용 DB 선정