EstherCho-7 / real_study

1 stars 0 forks source link

To-do List for Unit Project 1 (day 2, 3) #11

Open EstherCho-7 opened 3 months ago

EstherCho-7 commented 3 months ago

[ ] make an architecture of project
[ ] draw picture about process
[ ] embody processes
[ ] make modules
[ ] about readme
[ ] distribute the tasks (ex. extract, transfer, load) --> to avoid conflicts
[ ] choose data column for parquet
[ ] understand my code...

EstherCho-7 commented 3 months ago

12

EstherCho-7 commented 3 months ago

Consideration

특정 연도의 코드를 받아와야 함
월별로 parquet 저장하는 방법 고려
extract, transfer, load 난이도 고려, 적당히 배분 (같은 파일로 작업하면 망하는 수가 있음)
ETL을 하나의 dag에 담아 만들기