[Python] 스크래퍼 성능 향상 (이미지 다운로드 관련)

[ucharles]

문제

• 웹 페이지에서 이미지까지 스크래핑하려고 하면 성능이 크게 저하됨
• 반다이만 진행하는 일일 batch의 소요 시간이 5~10분으로 속도 향상의 필요성을 느낌

해결책 (w. ChatGPT)

• 멀티스레딩 또는 비동기 프로그래밍 사용: 이미지 다운로드를 병렬로 처리하여 성능을 개선할 수 있습니다. Python에서 threading 라이브러리를 사용하여 멀티스레딩을 구현하거나, asyncio와 aiohttp를 사용하여 비동기 방식으로 구현할 수 있습니다.
• 연결 풀링 사용: 연결 풀링을 사용하면 이미 열린 연결을 재사용하여 새 연결을 매번 생성하는 비용을 줄일 수 있습니다. requests 라이브러리의 Session 객체를 사용하면 연결 풀링을 쉽게 구현할 수 있습니다.
• 다운로드 크기 제한: 필요한 경우 이미지의 해상도나 크기를 제한하여 다운로드 시간을 줄일 수 있습니다. 이미지 URL에서 특정 파라미터를 조정하거나 다운로드 후 이미지를 처리하여 크기를 조정할 수 있습니다.
• 캐싱 메커니즘 사용: 이미 다운로드한 이미지는 로컬 캐시에 저장하여 동일한 이미지를 다시 다운로드하는 것을 피할 수 있습니다. 이는 특히 같은 이미지를 여러 번 다운로드해야 하는 경우 유용합니다.
• 헤더 사용: 웹 서버가 요청을 더 빠르게 처리할 수 있도록 적절한 HTTP 헤더를 설정합니다. 예를 들어, Accept-Encoding 헤더를 사용하여 압축된 응답을 요청할 수 있습니다.

[ucharles]

예제 코드

# 병렬 처리를 위한 ThreadPoolExecutor 사용
# max_workers는 동시에 실행할 스레드 수, 최대 5개
with ThreadPoolExecutor(max_workers=5) as executor:
    future_to_url = {
        # download_image 함수를 실행하고 결과를 future에 저장
        executor.submit(download_image, url, filename): url
        for url, filename in download_tasks
    }
    for future in as_completed(future_to_url):
        url = future_to_url[future]
        try:
            path = future.result()
            if path:
                result.append(path)
                logging.info(f"{url} downloaded to {path}")
        except Exception as exc:
            print(f"{url} generated an exception: {exc}")