snaag
commented
1 month ago Trino 에 대해서
Trino 란?
- 여러 서버에 걸쳐 데이터를 병렬적으로 처리하는 분산 쿼리 엔진, 즉 빅데이터 를 위한 쿼리 엔진 임
- 여러 서버에 걸친 데이터란?
- 하나 이상의 데이터 소스에 분산된 대규모 데이터들을 말함
- 기존에는 HDFS 를 쿼리하도록 설계되었지만, 현재는 HDFS 에만 국한되어있지 않음
Trino 의 서버 유형
- Trino 서버에는 코디네이터 Coordinator, 워커 Worker 라는 두 가지 유형이 있음
클러스터
컴퓨터 클러스터는 여러 대의 컴퓨터들이 연결되어 하나의 시스템처럼 동작하는 컴퓨터들의 집합을 말함
이것도 cluster...
- 여러 서버들이 모여 하나의 Cluster 가 됨
- Cluster 는 하나의 Coordinator 서버 와 여러개의 Worker 서버 로 구성되어있음
- 사용자는 SQL tool 을 사용하여 coordinator 와 연결함, coordinator 는 데이터소스에 액세스함
- 이때 카탈로그 에서 접근을 configure 함 (카탈로그 내에 커넥터가 있기 때문임)
- 사용자 --SQL tool--> Coordinator --access--> Datasource
코디네이터
- 코디네이터는 Trino installation 의 "두뇌" 임
- 이러한 일을 하기 때문
- 쿼리를 여러 단계로 나눈 후, 각 Worker 들에서 실행되도록 작업을 구성함
- 명령문 구문 분석 및 쿼리 planning
- Trino worker node 들 관리
- 클라이언트가 데이터소스에 access 하기 위해 클라이언트와 연결되는 node 이기도 함
- 모든 Trino installation 에는 1개의 Coordinator 에 1개 이상의 Worker 가 있어야 함
- 하나의 Trino installation 으로 개발 또는 testing 용이라는 두 가지 역할을 할 수 있음
Installation ?
- installation 은 설치 외에도 어떤 것들을 보관히기 위한 시설, 처리하기 위한 기계 장치 등을 말함
- trino 는 데이터 분석을 위한 장치이며, 데이터를 보관하기 위한 시설임
- 이 관점에서 본다면 installation 은 시설 또는 장치 가 적절한 번역이지 않을까 싶음
워커
- 워커는 코디네이터가 지시하는 task 를 수행함
- 이러한 일을 함
- connector 에서 데이터를 가져옴
- Coordinator 는 Worker 에게서 데이터를 가져오고, Client 에게 반환함
- 코디네이터가 워커를 찾는 방법
- 시작 되면, Connector 의 discovery server 에게 자신을 알림
- 이를통해 Trino 코디네이터는 Worker 를 통해 task 를 처리할 수 있음
- 워커의 통신
- REST API 를 사용하여 다른 Worker 및 Trino Coordinator 와 통신 함
커넥터 (SPI)
커넥터 : 서로 다른 것들이 이어지도록 하는 연결장치
- Trino 가 다양한 관계형 Database 와 연결할 수 있도록 하는 구현체 를 말함
- 이는 SPI 로, Trino 가 resource 와 연결되도록 하는 standard API 라는 것의 구현 임
- Trino 에 포함되어있는 built-in 커넥터들
- JMX용 커넥터
- 내장 시스템 테이블에 대한 액세스를 제공하는 시스템 커넥터
- Hive 커넥터
- TPC-H 벤치마크 데이터를 제공하도록 설계된 TPCH 커넥터
- 이 외에도 Trino 에 다양한 데이터소스의 데이터를 액세스 하기 위한 서드파티 커넥터들이 있음
카탈로그
카탈로그 : (상품, 자료의) 목록, 요람, 안내서
- 카탈로그는 datasource 에 대한 연결에 대한 안내서 라고 생각할 수 있음
- datasource 에 연결 하기 위해서는 커넥터와 연결이 되어있어야 함
- 그래야 사용자 --SQL tool--> Coordinator --access--> Datasource 이렇게 연결할 수 있음
- 카탈로그에는 scheme 가 포함되어있으며, 카탈로그와 연결된 커넥터를 통해 datasource 에 reference 할 수 있음
- 예시
- JMX datasource 에 접근하려면, JMX 커넥트를 통해 접근할 수 있도록 JMX 카탈로그를 구성해야 함
- Trino 에서 테이블 이름을 정할 때, 항상 카탈로그를 기반으로 함
- 예를들어
hive.test_data.test의 정규화된 테이블 이름은Hive카탈로그의test_data스키마에 있는 테스트 테이블을 참조하는 것을 말함
- 예를들어
- 카탈로그는 Trino 구성 디렉토리의 properties files 에 정의되어있음
Trino 가 아닌 것
Do not mistake the fact that Trino understands SQL with it providing the features of a standard database.
Trino 가 SQL 을 이해하고 표준 데이터베이스의 기능을 제공한다는 사실을 착각하지 마십시오.
Trino is not a general-purpose relational database.
Trino 는 범용 관계형 데이터베이스가 아닙니다.
It is not a replacement for databases like MySQL, PostgreSQL or Oracle.
MySQL, PostgreSQL 또는 Oracle 과 같은 데이터베이스를 대체하지 않습니다.
Trino 의 설계 목적
- DW 와 데이터 분석 을 위해 설계되었음
- 데이터 분석
- 대량의 데이터 집계 및 리포트 작성
- 이러한 workload 는 대부분 Online Analytical Processing (OLAP) 로 함, Trino 도 마찬가지임
Data warehousing? (a.k.a DW)
- 잘 가공해서 오래오래 보관하는 데이터베이스를 말함
- 사용자의 의사 결정에 도움을 주기 위하여 기간시스템의 데이터베이스에 축적된 데이터를 공통의 형식으로 변환해서 관리하는 데이터베이스를 말함
- 줄여서 DW로도 불린다
Trino? PrestoDB?
- 2020년 12월 27일, Presto 초기 멤버들이 페이스북을 나와 만든 PrestoSQL 프로젝트가 리브랜딩 된 것 임
- 350 버전 이후로 prestoSQL 에서 Trino 로 이름이 완전히 바뀌었음
Reference