Open travelbeeee opened 2 years ago
변경 이유: 친구가 요구한 건 특정 사이트의 svg 태그에 존재하는 값을 수집해서, 엑셀 내 이미지로 저장하는 프로그램 웹 크롤러보단 스크래핑에 가까운 행위라서 책에서 설명한 내용과 많이 다르게 설계하게 되더라...
DAG 스케줄러를 사용하게 되는데, 팀에서 사용하는 airflow
로 실습하며 구현해보고 싶음
목표 전처리기 - DAG스케줄러 - 자원관리자 - 작업실행서버 - 결과물
airflow
로 구현비디오 인코딩+ 메타데이터 추출
만 수행하는 것으로 간소화제일 중요한 목표는 airflow 실습하기
마무리 플젝