로그 수집

[JuyeoungJun]

In GitLab by @gm2202985 on Jun 1, 2021, 13:02

Filebeat

• 로그 또는 파일을 경량화된 방식으로 전달하고 중앙 집중화하여 작업을 보다 간편하게 만들어 주는 역할을 한다.
• 작동 방식
  1. Filebeat를 시작할 때 로그데이터를 바라보는 하나이상의 input을 설정한다.
  2. 지정한 로그파일에서 이벤트가 발생할 때 마다 Filebeat는 데이터 수확기(harvester)를 시작한다.
  3. 하나의 로그 파일을 바라보는 각 havester는 새 로그 데이터를 읽고 libbeat에 보낸다.
  4. libbeat는 이벤트를 집계하고집계된 데이터를 Filebeat 설정에 구성된 출력으로 데이터를 보낸다.

Logstash

• 실시간 파이프라인 기능을 가진 데이터 수집 엔진이다.
• 서로 다른 소스의 데이터를 탄력적으로 통합하고 사용자가 선택한 목적지로 데이터를 정규화할 수 있다.
• 다양한 고급 다운스트림 분석 및 시각화 활용을 위해 모든 데이터를 정리하고 대중화한다.

Elastic Logs 구조 (참고)

참조

• https://www.elastic.co/kr/
• https://www.elastic.co/guide/kr/logstash/current/introduction.html
• https://coding-start.tistory.com/135
• https://sabarada.tistory.com/45