issues
search
jms0522
/
Streaming-Data
โ ๋ค์ํ ๋ฐฉ๋ฒ์ ํ์ดํ๋ผ์ธ์ ๊ตฌ์ถํฉ๋๋ค.
3
stars
0
forks
source link
โ๏ธ ELK stack
#7
Open
jms0522
opened
2 months ago
jms0522
commented
2 months ago
๐ 8.14
โ๏ธ์ค์๊ฐ ๋ก๊ทธ ๋ฐ์ดํฐ ์ฒ๋ฆฌ๋ฅผ ์ํ elk stack ์ฌ์ฉ.
๋ค์ํ ์ข ๋ฅ์ ๋ก๊ทธ๋ฅผ ์์งํ๊ณ ์๊ฐํ ํ๊ธฐ ์ํจ.
Elastic search ์ hadoop ๊ทธ๋ฆฌ๊ณ Grafana Loki๋ฑ์ ์ฌ์ฉํด ๋ค์ํ๊ฒ ์ํํด ๋ณผ ์์ .
ELK stack ์ ์ค์ฌ์ผ๋ก ์ ์ฒ๋ฆฌ ์์ญ๊ณผ ํ์ฒ๋ฆฌ ์์ญ์ผ๋ก ๋๋ ์ฌ์ฉ.
jms0522
commented
2 months ago
๐ 8.15
โ๏ธ ๊ธฐ๋ณธ์ ์ธ docker-compose์ filebeat
์ค์๊ฐ๊ณผ ๋์ฉ๋ ๋ฐ์ดํฐ๋ฅผ ๋ง๋ค๊ธฐ ์ํด ๋ก๊ทธ๋ฅผ ๋ฝ์์ค๋ filebeat๋ฅผ ์ฐ๊ฒฐ์์ผ kafka ํ ํฝ์ผ๋ก ์ ์ก ์ค.
kibana ์ด๊ธฐํ๋ฉด
index๋ฅผ ์์ฑํ์ฌ role ๋ถ์ฌ ์ ์ฅ ์์ ์ 1์ฐจ๋ก ์งํ.
์ฌ์ค elastic search๋ฅผ ๋ ์ฌ์ฉํ๊ธฐ๋ณด๋จ hadoop ์์คํ ์ ๋ ํด๋ณผ๊น ์๊ฐ ์ค.
jms0522
commented
2 months ago
๐ 8.18
โ๏ธ Elasticsearch index
filebeat๋ฅผ ํตํด ์์ง๋ ๋ก๊ทธ๋ฅผ kafka์์ ๋ฐ๊ณ consumer๋ก Logstash ์ค์ ๋ ๋ชจ์ต.
๐ Kibana๋ก ๊ฐ๋จํ ์๊ฐํ
timestamp ํ์์ผ๋ก docker-compose up ์ดํ ๋ฐ์ดํฐ๊ฐ ๋ค์ด์ค๋ ๋ชจ์ต
jms0522
commented
2 months ago
๐ 8.19
โผ๏ธ Index Mapping ๋ฌธ์
๐ซ kafka ๋ฐ์ดํฐ ์์
Rapid Api๋ฅผ ํตํด kafka๋ก ๋ฐ์ดํฐ๋ฅผ ๋ณด๋
topic : instagram_scrapper_api
๐ซ Elasticsearch index ์์ฑ ๋ฐ mapping
instagram-profies ์ธ๋ฑ์ค ์์ฑ
Logstash - instagram-profile.conf์์ ๋งตํ
โ Mapping ๋ฌธ์ ๋ก empty-filed ๋ฐ์
๊ณ ์น๋ ค๊ณ conf๋ฅผ ์ฌ๋ฌ๊ฐ์ง ๋ณ๊ฒฝํ๊ณ ์๋๋ฐ ์์ง ํด๊ฒฐ ๋ชปํจ.
์ธ๋ฑ์ค ์์ฒด๊ฐ ๋ฌธ์ ์ผ ์ ์๋ค๋ ์๊ฐ์ ํ๊ณ ์๋ค.
๐ 8.14
โ๏ธ์ค์๊ฐ ๋ก๊ทธ ๋ฐ์ดํฐ ์ฒ๋ฆฌ๋ฅผ ์ํ elk stack ์ฌ์ฉ.