⚒️ ELK stack

[jms0522]

📅 8.14

❗️실시간 로그 데이터 처리를 위한 elk stack 사용.

• 다양한 종류의 로그를 수집하고 시각화 하기 위함.
• Elastic search 와 hadoop 그리고 Grafana Loki등을 사용해 다양하게 시험해 볼 예정.
• ELK stack 을 중심으로 전처리 영역과 후처리 영역으로 나눠 사용.

[jms0522]

📅 8.15

❗️ 기본적인 docker-compose와 filebeat

• 실시간과 대용량 데이터를 만들기 위해 로그를 뽑아오는 filebeat를 연결시켜 kafka 토픽으로 전송 중.

• kibana 초기화면
  • index를 생성하여 role 부여 저장 작업을 1차로 진행.
  • 사실 elastic search를 또 사용하기보단 hadoop 시스템을 더 해볼까 생각 중.

[jms0522]

📅 8.18

⚒️ Elasticsearch index

• filebeat를 통해 수집된 로그를 kafka에서 받고 consumer로 Logstash 설정된 모습.

📊 Kibana로 간단한 시각화

• timestamp 형식으로 docker-compose up 이후 데이터가 들어오는 모습

[jms0522]

📅 8.19

‼️ Index Mapping 문제

🔫 kafka 데이터 수신

• Rapid Api를 통해 kafka로 데이터를 보냄
• topic : instagram_scrapper_api

🔫 Elasticsearch index 생성 및 mapping

• instagram-profies 인덱스 생성
• Logstash - instagram-profile.conf에서 맵핑

❌ Mapping 문제로 empty-filed 발생

• 고치려고 conf를 여러가지 변경하고 있는데 아직 해결 못함.
• 인덱스 자체가 문제 일 수 있다는 생각을 하고 있다.