AIRFLOW 채팅 감사 기능 - Githubissues

DE32-2nd-team4 / Business-Chatting-System

0 stars 0 forks source link

AIRFLOW 채팅 감사 기능 #18

Closed sooj1n closed 3 weeks ago

sooj1n commented 3 weeks ago

** ConsumeFromTopicOperator는 디버깅이 너무 어려워서 PythonOperator로 바꿨습니답.

USEAGE

$ pip install pandas
$ pip install pyarrow
$ pip install kafka-python

Description

데이터 저장 위치
csv : < your installation folder >/data/parquet/p.parquet
parquet : < your installation folder >/data/csv/data.csv
zeppelin
노트 파일 위치 < your installation folder >/data/toparquet..ipynb 제플린에 import note 해서 사용하심 됩니다 ..
닉네임 별 채팅 빈도
날짜 별 채팅 빈도
날짜 + 시간 별 채팅 빈도
단어 빈도