DE32-2nd-team4 / Business-Chatting-System

0 stars 0 forks source link

Function 2 : 감사기능 #8

Open WhiteCapella opened 2 months ago

WhiteCapella commented 2 months ago

Function

[ ] topic에서 긁어모은 데이터들을 ETL과정을 거쳐 parquet파일로 저장
[ ] 저장된 parquet파일들을 이용해 감사 담당자가 필요한 데이터들을 출력

Detail Function

데이터들에 대한 ETL과정은 Airflow상에서 진행한다.
parquet파일로 전처리가 끝난 데이터들은 zeppelin을 통해 2차 가공하여 담당자에게 화면을 보여준다.
[내일 회의 후 진행]

Discussion

[ ] 이렇게 추출한 parquet파일들로 무엇을 보여줄 것인가.