jihogrammer commented 1 year ago

2023.02.22 14:00 ~ 16:00 WeWork 삼성역2호점

에스코어 소개

홍보라 / 에스코어

삼성SDS 자회사
매니지먼트 컨설팅
소프트웨어 테크놀로지 서비스

jihogrammer commented 1 year ago

실무에서 활용 가능한 Elasticsearch 인덱스 설계 실전 기법 소개

김지명 프로 / OSS 기술그룹 / 에스코어

인덱스란 무엇인가

RDBMS의 Table과 동일하다.
chatGPT에 물어보자

Cluster > Index | Node > Shard > Segment

Cluster

하나 이상의 노드로 구성됨
동일 클러스터 내 노드 간 TCP 통신
다른 클러스터와 통신하지 않음

Node

Master: 클러스터 제어, 상태관리
Data: 데이터 보유 CRUD, 집계 등 데이터 관련 작업
Ingest: 데이터 색인 전 전처리
Coordinator: 분산 처리(요청 문산, 검색 결과 병합), Load Balancer와 비슷한 역할을 수행
Machine Learning: ML Job 처리
Transform: 색인 데이터 집계, 변경 작업
Remote Cluster Client

Index

ES Index = 1개 이상의 샤드로 구성
ES Shard = 루씬 인덱스
샤드 = 독립적인 검색 엔진

Node 수 배수로 Shard를 구성하는 게 일반적

Shard

6.x 버전 기본 샤드 수 5 -> 7.x에서 1로 변경 - Oversharding 문제
인덱스 성능 = 각 샤드의 성능 -> 적절한 샤드 수 필요
(운영 시) VM 또는 물리장비 1대 -> 노드 1대
- 동일 장비에 프라이머리, 레플리카 샤드가 구성될 수 있으니 주의해야 함

데이터 색인

해시 방식 색인
레플리카 샤드까지 색인

Write에서는 Replicas가 적어야 좋고, Read에서는 Replicas가 적절하게 있어야 좋음

Segment

샤드 데이터를 가지는 물리 파일
빠른 검색을 위한 특수 자료구조 - 역색인 구조
특성
- 역색인 구조
- 불변성: 동시성 문제 회피, 적극적인 시스템 캐시 활용, 높은 캐시 적중률 성능 향상
- 단점
  - 색인 시 새로운 세그먼트 생성 -> 사용 환경에 따라 오히려 단점이 아닐 수 있다.
  - Delete 처리
  - Update = Delete + Insert
- 병합
- 적정 세그먼트 수 유지
- Deleted Documents 삭제
- 병합 정책
  - 특별히 정책을 특정하여 사용할 수는 없음
  - LogByteMergePolicy - 인접한 세그먼트끼리 병합
  - TieredMergePolicy (ES) - 특정 임계치를 넘어가면 비슷한 크기의 Segment끼리 병합
- 검색 가능 상태 - searchable
  - Refresh: 1초마다 수행함 / 메모리 영역
  - 버퍼 내용을 비우고 세그먼트 생성
  - 검색이 가능해지는 상태
  - 물리적 파일 생성 요청
  - Flush: 실제 물리적인 파일이 생성됨을 보장함 / 물리적 영역
  - 버퍼와 트랜스로그 모두 비움
  - 물리 디스크로 작성 요청
  - 실행 시점: 메모리가 다 찼을 때, 일정 시간, 트랜스로그 임계치 넘을 시

세그먼트 튜닝 포인트

refresh, flush
- index.refresh_interval: default 1s, dynamic
- indices.memory.index_buffer_size: default allocated heap 10%, static
- index.translog.sync_interval: default 5s, dynamic
- index.translog ...

jihogrammer commented 1 year ago

인덱스 주요 설정

setting
mapping

setting

static: 인덱스 생성 시 설정 후 변경 불가
dynamic: 인덱스 사용 중 변경 가능

Analyzer

char_filter: 0개 이상
tokenizer: only 1 (기본값: white space)
token_filter: 0개 이상

mapping

도큐먼트 구조 정의
동적(Dynamic) 매핑
명시적(Explicit) 매핑

Dynamic Mapping

포괄적인 데이터로 매핑
dynamic option
- (default) true
- runtime
- false
- *strict (운영 시 권장)
dynamic_template
- match_mapping_type
- match, unmatch
- path_match, path_unmatch

Explicit Mapping (권장)

색인될 데이터 수동 설정
데이터 자료형 정의
mapping parameters
- dynamic
- _source **??!!
- norms: 정규화 시 사용. 스코어링이 필요 없으면 false로 설정해야 효율적임

fields

Object vs Nested 잘 구분해서 사용해야.

인덱스 템플릿

동일한 설정의 인덱스 생성

컴포넌트 템플릿

공통 템플릿 정의, 조합 사용 가능
- 사용자 정의 analyzer 재사용 시
- 여러 공통 템플릿 조합 가능
- 공통 값, 덮어씌어짐

jihogrammer commented 1 year ago

인덱스 생명주기 관리 ILM

Aliases

인덱스 또는 데이터스트림에 대한 별칭
인덱스 접근 단순화
Alias REST API 또는 인덱스 생성 시 생성 가능

Rollover

특정 조건에 따라 새로운 인덱스를 자동 생성
조건: 기간, 크기, 도큐먼트 수 등
Alias 또는 데이터스트림 대상
Rollover REST API, *ILM 설정

ILM - Index Lifecycle Management

성능, 보관정책 등에 따라 인덱스를 자동 관리
- 이벤트, 메트링, 로그, 시계열 데이터 관리 용이
- Datastream 기능으로 시계열 데이터 자동관리 가능
Rollover 패턴 구성, 자동화
'언제', '무엇을' 할지에 대해 정의

단계별 인덱스 티어 구성 (When)

Hot - Warm - Cold - Frozen
인덱스 Rollover 이후(after hit tier) 구간별 이동 시점 설정

티어별 동장 설정

Rollover
Shrink
Force-Merge
Searchable Snapshot
Delete

Lifecycle Step

Hot: 활발한 검색, 업데이트, 색인 데이터
Warm: 업데이트/색인이 줄었지만 검색이 필요한 데이터
Cold: 업데이트/색인 없음, 느려도 괜찮은 검색 데이터
Frozen: 업데이트/색인 없음, 보관 목적

ILM 설정

정책 생성 및 설정
- Kibana 또는 REST API 설정
- 주기적 정책 확인(10분)
- 정책 업데이트 - 단계 변경 시 적용

jihogrammer commented 1 year ago

인덱스 데이터 모델링

데이터 모델링

De-normalization
Application Side Join
Parent-Child
Nested

De-normalization

good: 조인 연산 자체가 필요 없으며 쿼리 시점에서의 최고의 성능을 낼 수 있음
bad: 데이터 크기가 기하급수적으로 증가할 수 있음: 고통 필드의 변경이 빈번하거나 한정된 물리 서버 구성이라면 유의

Application Side Join

good: Denormalization 대비 스토리지 사용량 절감. 1:1 관계, 기존 쿼리 재활용
bad: 필요한 테이블 수만큼 Req/Res IO 발생 / 정렬, 페이징 시 별도 처리 필요

Parent-Child

good: 1:N 관계 설정 가능 / 업데이트, 삭제 성능 우수
bad: 라우팅 ID 관리 필요 / 쿼리 성능 부하
같은 샤드 위치 필수

Nested

good: 두 개 이상 속성 데이터 처리 가능 / 빠른 검색 성능
bad: 내부 구조에 유의 / Nested 필드 업데이트 유의

jihogrammer commented 1 year ago

인덱스 사이징

데이터 크기 산정
샤드 수 설정

데이터 크기 산정

일별 색인 데이터 크기, 데이터 보관 정책, 레플리카 샤드 수 => Total Data / Total Storage / Total Data Nodes

샤드 수 설정

전체 데이터 크기: 샤드 당 10 ~ 50 GB 권장
테스트 필수: 환경에 따라 다르기 때문
팁
- 일/주/월 단위 인덱스 사용
- 도큐먼트 삭제보다 인덱스 삭제

샤드 크기 설정 테스트

예상 유입 쿼리 수
목표 검색 응답 시간 설정
서버 스펙 설정

jihogrammer / elasticsearch

[세미나] Elasticsearch 데이터 실전 - 1. 실무에서 활용 가능한 Elasticsearch 인덱스 설계 실전 기법 소개 #1

에스코어 소개

실무에서 활용 가능한 Elasticsearch 인덱스 설계 실전 기법 소개

Contents

인덱스란 무엇인가

Cluster

Node

Index

Shard

데이터 색인

Segment

세그먼트 튜닝 포인트

인덱스 주요 설정

setting

Analyzer

mapping

Dynamic Mapping

Explicit Mapping (권장)

fields

인덱스 템플릿

컴포넌트 템플릿

인덱스 생명주기 관리 ILM

Aliases

Rollover

ILM - Index Lifecycle Management

단계별 인덱스 티어 구성 (When)

티어별 동장 설정

Lifecycle Step

ILM 설정

인덱스 데이터 모델링

데이터 모델링

De-normalization

Application Side Join

Parent-Child

Nested

인덱스 사이징

데이터 크기 산정

샤드 수 설정

샤드 크기 설정 테스트