Pyohwan commented 4 years ago

https://spring.io/projects/spring-cloud-dataflow Kubernetes 에서 Microservice 기반 스트리밍 및 배치로 데이터 처리 스트리밍, 배치 데이터 파이프라인을 위한 복잡한 토폴리지를 작성하는 도구를 제공 데이터 파이프라인은 Spring Cloud Stream, Spring Cloud Tsk microservice 프레임워크를 사용한 스프링 부트 앱으로 구성된다.

Features

Spring Cloud Data Flow 서버는 Spring Cloud Deployer 를 사용하여 Spring Cloud Deployer, Spring Cloud Task 애플리케이션으로 만든 데이터 파이프라인을 Cloud Foundry and Kubernetes 와 같은 최신 플랫폼에 배치한다.
다양한 데이터 통합 및 처리 시나리오를 위해 pre-built 스트림과 task/batch 스타터 앱을 선택하면 학습 및 실험이 쉬워진다.
다른 미들웨어 또는 데이터 서비스를 대상으로 하는 Custom 스트림 및 태스트 애플리케이션은 스프링 부트 스타일 프로그래밍 모델을 사용하여 빌드할 수 있다.
간단한 스트림 파이프라인 DSL 을 사용하면, 배포할 앱과 inputs 과 outputs 연결 방법을 쉽게 지정 가능하다. composed 태스크 DSL 은 task 앱 시리즈를 직접 그래프로 실행해야 하는 경우 유용하다.
대시보드는 데이터 파이프라인을 대화식(interactively) 으로 구축하고, 배포 가능한 앱의 뷰를 제공하고 Prometheus, InfluxDB 또는 다른 모니터링 할 수 있는 그래픽 편집기를 제공한다.
데이터 파이프라인 작성 및 배포를 위한 REST API 를 제공한다. 쉘을 사용하면 커맨드 라인에서 API 를 쉽게 사용 가능 하다.

Pyohwan commented 4 years ago

https://dataflow.spring.io/docs/installation/kubernetes/

Installation

kubectl 로 Helm chrart 사용하여 Kubernetes 에 설치한다.

설치 필요한 것들

Data Store
- MySQL
Messaging Layer
- RabbitMQ (default), RabbitMQ HA, Kafka
Prometheus and Grafana

Pyohwan commented 4 years ago

https://dataflow.spring.io/docs/concepts/architecture/

Architecture

Server Components

두개의 메인 컴포넌트가 있음

Data Flow Server
Skipper Server 데이터 흐름을 접근하기 위한 주요 진입점은 RESTful API 를 통하는것. 웹 대시보드는 Data Flow Server 에서 제공된다. Data Flow Server 및 Data Flow Shell 애플리케이션은 모두 웹 API 를 통해 통신 한다.

Data Flow Server

Domain Specific Language(DSL) 기반으로 스트림 및 배치 작업 정의를 파싱
Stream, Task, Batch Job 정의 를 검증 및 유지
DSL 에서 사용된 이름에 .jar 과 docker 이미지와 같은 artifacts 등록
Batch Jobs 을 하나 이상의 플랫폼에 배포
Job 스케줄링을 플랫폼에 위임
자세한 Task 및 Batch Jo 실행 기록 쿼리
메시징 입력 및 출력을 구성하고 배포 속성(예: 초기 인스턴스 수, 메모리 요구 사항 및 데이터 분할)을 전달하는 구성 속성을 스트림에 추가
스트림 배포를 Skipper 에 위임
Auditing 액션 (예 : 스트림 생성, 배포, 배포 취소, 배치 생성, 실행, 삭제)
Stream and Batch Job DSL 탭 완성 기능 제공
Skipper Server
하나 이상의 플랫폼에 스트림 배포
State Machine 기반 blue / green 업데이트 전략을 사용하여 하나 이상의 플랫폼에서 스트림 업그레이드 및 롤링 백
각 스트림의 매니페스트 파일 기록을 저장 (배포된 애플리케이션의 최종 설명을 나타냄)
Database
Data Flow Server and Skipper Server 에는 RDBMS 가 있어야 한다.
기본적으론 임베디드 H2 데이터베이스를 사용한다.
H2, HSQLDB, MySQL, Oracle, Postgresql, DB2, and SqlServer 사용 가능
Security
Data Flow and Skipper Server 의 executable jars 는 OAuth 2.0 인증을 사용하여 RET 엔드포인트를 보호한다.
basic authentication 이나 OAuth2 access tokens 를 사용할 수도 있다.

Application Types

Long-lived applications
- 무한한 양의 데이터가 단일 입력 또는 출력 (또는 둘다)를 통해 소비되거나 생생되는 메시지 구동 애플리케이션
- 여러 입력 및 출력을 가질수 있는 message-driven 애플리케이션.
Short-lived applications 는 처리를 한 다음 종료되는 수명이 짧은 애플리케이션
- 코드를 실행하고 Data Flow DB 에 실행 상태를 기록하는 Task. Spring Cloud Task 프레임워크를 사용할 수 있다.
- 배치 처리 수행의 기초로 스프링 배치 프레임워크를 포함
  
  Spring Cloud Stream framework 는 long-lived 이고 Spring Cloud Task or Spring Batch frameworks 는 short-lived

Pyohwan commented 4 years ago

https://dataflow.spring.io/docs/concepts/batch-jobs/

Batch Processing

배치 프로세싱은 interaction 이나 interruption 없이 유한한 양의 데이터를 처리하는것으로 정의한다. 배치 프로세싱을 구현하는 애플리케이션을 ephemeral or short-lived apps 이라 한다. 배치 프로세싱의 예는 빌링 애플리케이션이 있다.

이 애플리케이션은 매일 밤 실행되며, flat 파일에서 고객 사용량 데이터를 읽고, 해당 레코드에 대한 가격 정보를 생성하여, 청구 정보를 청구 테치블에 insert 한다. 모든 사용량 데이터를 읽고 가격을 책정하고 결과가 청구 테이블에 insert 되면 애플리케이션이 중지된다.

Orchestrating Batch apps

Spring Batch and Spring Cloud Task 으로 애플리케이션을 작성한 후에, 애플리케이션을 어떻게 시작할까? Spring Cloud Data Flow 가 ad-hoc request or a batch-job scheduler 을 통해 배치 애플리케이션 시작 가능하다.

Pyohwan commented 4 years ago

https://dataflow.spring.io/docs/concepts/monitoring/