Logs & Env variables Management

[seoyeong200]

problem1. 로깅 방식

stream handler로 로그 표준출력했을때, 수집 단계에서 로그 확인에 문제있음 invoke.sh 스크립트 실행 시 지정한 concurrency level에 맞게 람다 동작 이후 컨테이너가 삭제되기 떄문에 작업 실패 후 컨테이너가 삭제되면 해당 로그를 확인할 수 없음 파일 형태로 관리해야 할 것 같아 일단 logger 클래스는 handler를 지정해서 인스턴스 생성할 수 있도록 리팩토링을 해두었는데,

• 로그 파일 path 어떻게 설정할것인가?
• spark cluster의 경우 data 경로 마운트 만들어둔게 있는데, ingest 영역에서도 같은 경로 바라보게 할것인지?
• 아니면 로깅을 위한 path 따로 설정할것인지?
• 해당 path 변수 환경변수 파일에서 관리할것인지, 아니먄 코드 레벨에서 각 클래스 정의 파일에서 하드코딩핡것인지
• 각 etl 클래스의 Logger의 핸들러 설정 기준 ?

how am i solve it?

• env 파일 ingest, transform 두개로 분리 생성
• ingest 환경변수 파일에 LOGPATH 지정. 로컬 /infrastructure/data/log/ingest 랑 /var/log 마운트
  • /infrastructure/data : 스파크 도커 클러스터 데이터 관련 파일들 마운트한 경로
  • LOGPATH /var/log 로 지정
• ifle handler로 로깅 인스턴스 생성 시 환경변수 LOGPATH 가져와서 해당 경로에 filename 로깅 날짜로 write

[seoyeong200]

네이버 책 프론트 개편으로 scrapper 동작 작동하지 않음, 데이터 update 불가

[seoyeong200]

refactor logging instance

1. 인스턴스 생성 시에 핸들러 filehandler / streamhandler 둘 중 하나 선택해서 생성할 수 있도록 한다.
2. 두 핸들러 모두 갖는 Logger 만들어지도록 한다.

1 방법에서 2 방법으로 수정했다. 오히려 선택 가능성을 열어두니까 생성 시 코드가 더 불필요하게 지저분해졌기 때문이다.