seryang
commented
2 years ago 질문1
230페이지 파이프라인 설정을 보면 입력의 파일 플러그인 옵션에 sincedb_path => "nul"
- 책에 나와있는대로라면 이 값을 nul로 지정하면 sincedb 파일을 만들지 않기 때문에 이전 파일을 읽었던 기록이 없어서 매번 로그스태시를 실행할 때마다 파일을 처음부터 읽게 됨
- 그런데 해당 설정 파일을 이용하여 로그스태시를 여러번 실행시키면 동작 안함... (file path에 정의한 로그를 읽어들이지 않음)
- start_position 옵션도 beginning 임
- sincedb 파일도 없음. (마지막 오프셋값 저장한 sincedb 파일도 없음)
답변
- Windows OS 에서는
sincedb_path => "nul" - 리눅스 계열 OS 에서는
sincedb_path => "/dev/null"
질문2
- 235페이지 dissect(다이섹트)를 이용한 문자열 파싱 -파일에는 2개의 로그가 있는데 이를 파싱하여 출력했을때 나오는 순서가 매번 다르던데 이유가 무엇일까?
- 파이프라인 설정에 입력의 파일 플러그인 start_position 옵션에는 beginning이라 파일의 첫줄부터 읽었을텐데...)
- 물론 결과값의 첫번째 line에 파싱된 데이터의 timestamp가 더 빠르긴 함
- timestamp로 정렬하는 법은 없을까?
답변
- 멀티쓰레드로 실행되기 때문
- worker 개수를 1개로 바꾸면 됨
6.1 로그스태시 소개
6.2 로그스태시 실행
./bin/logstash -e "input {stdin { } } output { stdout { } }"./bin/logstash -e "input {stdin { } } output { stdout { } }" --log.level error6.3 파이프라인
filter { { 필터 플러그인 } }
output { { 출력 플러그인 } }
output { stdout { } }
6.3.2.1 문자열 자르기
filter { mutate { split => { "message" => " " } add_field => { "id" => "%{[message][2]}" } remove_field => "message" } }
output { stdout { } }
6.3.2.2 dissect를 이용한 문자열 파싱
filter { dissect { mapping => {"message" => "[%{timestamp}] [%{id}] %{ip} %{port} [%{level}] - %{message}."} } }
output { stdout { } }
filter { dissect { mapping => {"message" => "[%{timestamp}]%{?->} [%{id}] %{ip} %{+ip} [%{?level}] - %{}."} } }
output { stdout { } }
grok을 이용한 문자열 파싱
자주 쓰는 로그스태시 패턴
filter { grok { pattern_definitions => { "MY_TIMESTAMP" => "%{YEAR}[/-]%{MONTHNUM}[/-]%{MONTHDAY}[/-][T ]%{HOUR}:?%{MINUTE}(?::?%{SECOND})?%{ISO8601_TIMEZONE}?" } match => { "message" => "[%{MY_TIMESTAMP:timestamp}] [ ]*[%{DATA:id}] %{IP:ip} %{NUMBER:port:int} [%{LOGLEVEL:level}] - %{DATA.msg}."} } }
output { stdout { } }
6.3.2.4 대소문자 변경
두 가지 필터 플러그인을 사용하고 있음
먼저 dissect 플러그인을 이용해 패턴에 맞춰 문자열을 자름
level 필드를 제외하고 나머지는 ?를 사용해 모두 무시
다음으로 mutate 플러그인의 uppercase 옵션을 통해 level 필드의 데이터를 모두 대문자로 변경
level 필드의 데이터가 warn에서 WARN으로 변경
lowercase는 uppercase와 반대
6.3.2.5 날짜/시간 문자열 분석
THH:mm:ss.SSSSSSZ, yyyy-MM-dd, epoch_millis)을 기본으로 사용dissect 플러그인으로 문자열을 자름
timestamp 필드만 제외하고 나머지 필드는 무시
mutate 플러그인의 strip 옵션은 선택한 필드의 양옆에 공백이 있을 경우 제거하는데, dissect에 의해 만들어진 timestamp 필드 좌우에 공백이 포함되어 있다면 제거됨
date 플러그인은 날짜/시간 관련된 데이터를 ISO8601 타입으로 일괄적으로 변경
match 옵션의 첫번째 값은 매칭할 필드명이고 이후 값들은 매칭할 날짜/시간 포맷
여기서는 timestamp 필드 중에서 YYYY-MM-DD HH:mm 포맷이거나 yyyy/MM/dd HH:mm:ss 포맷인 경우 매칭
target은 match에 의해 매칭된 필드가 저장될 새로운 필드를 의미하고, timezone은 원본 문자열에 타임존 정보가 포함되어 있지 않을 때 어떤 타임존으로 분석할지 설정
로그스태시는 타임존을 지정하지 않으면 로컬 PC의 타임존을 적용
이 경우 표준시간대와 맞지 않을 수 있으니 타임존을 UTC로 설정
로그스태시에서 사용하는 날짜/시간 포맷은 Joda Time 라이브러리 포맷을 사용
new_timestamp라는 새로운 필드가 생성되었고, 시간 포맷이 달랐던 두 데이터가 ISO8601 타입의 포맷으로 통일됨
6.3.2.6 조건문
filter { dissect { mapping => {"message" => "[%{timestamp}]%{?->}[%{id}] %{ip} %{port} [%{level}] - %{msg}."} } if [level] == "INFO" { drop { } } else if [level] == "warn" { mutate { remove_field => [ "ip", "port", "timestamp", "level" ] } } }
output { stdout { } }
6.3.3 출력
전체 출력 플러그인
6.3.4 코덱
output { stdout {} }
#는 주석인데 한 번에 하나의 주석만 풀면서 파이프라인을 세번 실행해보자.6.4 다중 파이프라인
6.4.1 다중 파이프라인 작성
mypipe1.conf 파일을 작성해보자.
6.5 모니터링
6.5.1 API를 활용하는 방법
6.5.2 모니터링 기능 활성화
6.6 정리