[prefect] crawling, inference 자동화

[JuwonOh]

• 문제 상황

  • 지금은 수동으로 크롤링, inference를 진행하고 있음.

• 해결책

  • ipynb로 되어 있는 크롤러 일부를 module화 시켜야 한다.
  • 크롤러를 factory design으로 한번에 돌릴 수 있게한다.
  • prefect를 사용해서 inference, crawling을 해야함.

[JuwonOh]

crawler들을 최대한 균일한 구조로 만들어보자.

• class를 이용한 추상화
• 가능하면 factory design 반영

[JuwonOh]

최종: 개별 cralwer에 대한 코드를 upload했다. 차후과제: airflow와 연결된 크롤링 자동화는 phase2에서 진행될 것이다.

[JuwonOh]

Prefact를 사용하지 않는고 Airflow를 사용하는 결론을 냄.