Glue로 테이블에 대한 스키마 생성 후, 테이블 파퀘 파일 만들고 S3에 적재까지 오늘 해보았습니다~!
Glue도 EMR과 유사한 기능을 하지만 PC사양을 커스텀 할 수 없다는 것 외에는 ETL 파이프 라인 짜는 UI에 매우 최적화
되어 있습니다.
회사 1개에 대한 테이블을 불러와서 테스트 해봤는데 모든 회사에 대한 스키마를 생성하는 방법에 대해 고민해보고,
적재해서 Glue에 있는 Trigger 기능까지 활용하여 parquet 파일 생성 후, data groupby 또는 selection 을 해서 추출 후 저장하는
부분까지 자동화 시키는 파이프라인을 구축 해보겠습니다.
또 추가로, 전에 올렸던 비즈니스 로직 기반으로 데이터를 버킷 내에 자동으로 저장될 수 있도록 구축 해보겠습니다.
오늘 일지 남깁니다.
Glue로 테이블에 대한 스키마 생성 후, 테이블 파퀘 파일 만들고 S3에 적재까지 오늘 해보았습니다~! Glue도 EMR과 유사한 기능을 하지만 PC사양을 커스텀 할 수 없다는 것 외에는 ETL 파이프 라인 짜는 UI에 매우 최적화 되어 있습니다.
회사 1개에 대한 테이블을 불러와서 테스트 해봤는데 모든 회사에 대한 스키마를 생성하는 방법에 대해 고민해보고, 적재해서 Glue에 있는 Trigger 기능까지 활용하여 parquet 파일 생성 후, data groupby 또는 selection 을 해서 추출 후 저장하는 부분까지 자동화 시키는 파이프라인을 구축 해보겠습니다.
또 추가로, 전에 올렸던 비즈니스 로직 기반으로 데이터를 버킷 내에 자동으로 저장될 수 있도록 구축 해보겠습니다.