seoyeong200 / Book-data-Pipeline

책 줄거리를 기반으로 비슷한 책을 추천해주는 서비스를 위한 데이터 파이프라인입니다. 도커 환경에서 파이프라인을 구성하여 스파크를 사용해 배치 데이터를 처리합니다.

1 stars 0 forks source link

Refactor : re-structure scraping source code #4

Closed seoyeong200 closed 8 months ago

seoyeong200 commented 9 months ago

Related Issues

2

Descriptions

1. 데이터 수집 코드 리팩토링 - 모듈화

기존 코드는 전체 하나의 함수 안에서 다 전체 웹 스크래핑 동작이 정의되어있기 때문에, 가독성이 매우 떨어져 유지보수 ~하기가 싫어지는..~ 어려운 단점 존재
적절한 수행 동작 단위를 기준으로 각각을 메소드로 분리하고, Scrapper 클래스로 감쌈
동작 테스트 재완료, 그새 기존 html DOM이랑 달라져서 정상 동작하지 않는 부분 코드 유지보수

2. 데이터 수집 코드 aws lambda 함수로 재정의

로컬런타임에서 스크립트를 동작시켜 데이터를 모았었는데, 클라우드 상에서 주기적으로 수집 동작을 자동화
람다 서버리스 솔루션 이용
- 셀레늄, bs4 등 파이썬 라이브러리가 필요하기 때문에, 관련 라이브러리, 종속성 도커라이징해서 배포

Tests

Screenshots (optional)

Etc. (optional)

seoyeong200 commented 8 months ago

TODO readme에 기술 - aws cli needs to be installed

# needs to be exported
export AWS_REGION=ap-northeast-1
export AWS_ACCESS_KEY_ID=your_access_key
export AWS_SECRET_ACCESS_KEY=your_secret_key
# or just simply follow the instruction
aws configure