[Airflow Dag] 코디 파이프라인

[ohyu628]

Cody Pipeline

• 매일 새롭게 올라오는 무신사 코디들을 하루에 한번씩 수집해와서 데이터 전처리 후 DB에 넣는 것까지 airflow로 자동화
• 전체적인 파이프라인 설계
  • 메인 DB서버에서 이전에 가지고 온 cody_id 정보 불러오기
  • 위에 가지고 온 정보와 겹치지 않는 코디 크롤링
  • 새로 가지고 온 코디정보 전처리
  • 메인 DB에 저장

[ohyu628]

[3/13] 코디 파이프라인 설계 시작

• cody_test1 Dag 생성 : 메인 DB에 있는 Cody 테이블에서 cody_id를 가지고 와 csv 파일로 저장

issue

• 코드가 잘 돌아가는지 확인하기 위해 일단 파일을 생성하였으나 생성이 되지 않음

  • 원인
  • Dag를 생성과 함수 실행에 필요한 코드를 적지 않음
  • 해결을 위한 시도

  • 필요한 코드 아래와 같이 추가

    # DAG 설정
    dag = DAG(
      dag_id='cody_test1',
      schedule_interval=None,
      start_date=datetime.now(),
    
    # PythonOperator를 사용하여 함수 실행
    cody_test_DB = PythonOperator(task_id='extract_existing_cody_ids',
                        python_callable=extract_existing_cody_ids,
                        dag=dag
    )

  • 해결완료

[ohyu628]

[3/14]

• cody_test2 Dag 생성 : 메인 DB에 있는 Cody 테이블에서 cody_id를 가지고 와 csv 파일로 저장 : 저장한 csv 파일에 해당하는 cody_id는 제외하고 새로운 코디 정보만 크롤링

issue

• chrome 접속부터 안 됨
  • 원인
  • Selenium이 현재 시스템에서 사용 가능한 Chrome과 호환되지 않는 버전을 사용하고 있어서 에러 발생

    [2024-03-14 13:59:29,791] {selenium_manager.py:149} WARNING - The chromedriver version (114.0.5735.90) detected in PATH at /usr/bin/chromedriver might not be compatible with the detected chrome version (122.0.6261.111); currently, chromedriver 122.0.6261.128 is recommended for chrome 122.*, so it is advised to delete the driver in PATH and retry
    [2024-03-14 13:59:31,349] {taskinstance.py:1396} ERROR - Message: unknown error: Chrome failed to start: crashed.

  • 해결을 위한 시도

    driver = webdriver.Chrome(service=Service(ChromeDriverManager(driver_version="122.0.6261.94").install()), options=options)

  • 해결완료

[ohyu628]

issue

• airflow 실행중 갑작스러운 중단 발생
  • 원인
  • airflow의 크기가 작은데 너무 많은 양의 데이터를 가지고 오려해서 꺼진 것으로 예상됨
  • 해결을 위한 시도
  • 코드가 잘 실행되는지 확인하기 위한 작업이기 때문에 크롤링 데이터의 양을 줄여서 시도하니 중단되지 않고 잘 실행됨
  • 해결완료

[ohyu628]

• cody_test3 Dag 생성

  

  : 크롤링해 온 데이터 XCom에 저장까지 성공

[ohyu628]

[3/15]

• cody_test4 Dag 생성 : XCom에 저장되어 있는 데이터를 hashtag 전처리 : 전처리 후 csv 파일로 저장

issue

• XCom에 있는 데이터에 코드가 적용이 잘 안 됨
  • 원인
  • XCom을 처음 사용하다보니 코드를 알맞게 작성하지 못한 것 같음
  • 해결을 위한 시도
  • 여러번 시도해보았지만 해결이 잘 되지 않아 새로운 방법으로 접근하기로 함 -> 전처리 후 csv 파일로 저장하는 방식이 아닌 바로 메인 DB에 넣어 전처리 하는 방식으로 접근하기 위해 새로운 폴더 생성

[ohyu628]

[3/16]

• cody_test5 Dag 생성 : XCom에 저장되어 있는 데이터를 불러와 메인 DB에 저장

issue

• db에 데이터가 들어갔는데 몇개가 안 들어감

  • 원인
  • 크롤링해올 때 item / item_size가 없으면 컬럼을 제외하고 가지고 오는 것이 아닌 널값으로 가지고 오라는 조건을 넣지 않아서 메인 DB서버 Cody 테이블과 컬럼명이 일치하지 않은 것들이 들어가지 않은 것
  • 해결을 위한 시도
  • 필요한 코드 아래와 같이 수정

    
    for i in range(start_index, end_index + 1):
    try:
    brand_text = driver.find_element(By.CSS_SELECTOR, f"#style_info > div.styling_goods > div.gender-classification > div > div > div.styling_list.swiper-wrapper > div:nth-child({i}) > a.brand_item").text
    cody_dic[f'item{i}'] = brand_text
    except NoSuchElementException:
    cody_dic[f'item{i}'] = None  # 해당 CSS 선택자가 없으면 Null 값으로 설정

  try: option_text = driver.find_element(By.CSS_SELECTOR, f"#style_info > div.styling_goods > div.gender-classification > div > div > div.styling_list.swiper-wrapper > div:nth-child({i}) > span.option").text cody_dic[f'item_size{i}'] = option_text except NoSuchElementException: cody_dic[f'item_size{i}'] = None # 해당 CSS 선택자가 없으면 Null 값으로 설정

  
  - 해결완료

[ohyu628]

[3/18]

• cody_test6 Dag 생성 : 메인 DB에 저장된 데이터 hashtag 전처리 : cody_id 삭제

  -> 코디 파이프라인 완성