GITSangWoo
commented
5 days ago url 링크 목록 만들면서 로그 남기는 코드
import re
import os
import time
from datetime import datetime, timedelta
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.by import By
# 셀레니움 웹 드라이버 설정
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()))
# 오늘 날짜로 로그파일 이름 설정
today = datetime.today().strftime('%Y%m%d')
log_file_name = f"{today}.log"
# 어제 날짜로 로그파일 이름 설정
yesterday = (datetime.today() - timedelta(days=1)).strftime('%Y%m%d')
yesterday_log_file_name = f"{yesterday}.log"
# 페이지 열기 (예시로 원하는 페이지)
driver.get("https://www.wanted.co.kr/wdlist/518/655?country=kr&job_sort=job.recommend_order&years=-1&selected=655&locations=all")
# 페이지 로딩 대기
time.sleep(3) # 페이지 로딩 대기 (필요시 WebDriverWait 사용 가능)
# 링크를 저장할 리스트
all_links = []
# 정규 표현식 패턴 (wd/ 뒤에 숫자가 있는 URL을 찾는 패턴)
pattern = re.compile(r'wd/\d+$')
# 스크롤 내리기 및 링크 추출 반복
previous_height = driver.execute_script("return document.body.scrollHeight") # 현재 페이지의 높이를 가져옴
while True:
# 페이지에서 모든 <a> 태그를 찾음
links = driver.find_elements(By.TAG_NAME, "a")
# 이미 가져온 링크들을 확인하고 중복되지 않게 추가
for link in links:
href = link.get_attribute("href")
# 정규 표현식으로 'wd/숫자' 형식의 링크만 필터링
if href and pattern.search(href) and href not in all_links:
all_links.append(href)
# 스크롤을 페이지 끝까지 내리기
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
# 잠시 대기하여 새로운 요소들이 로드될 시간을 줌
time.sleep(2) # 2초간 대기, 이 시간은 페이지 로딩 속도에 맞게 조절
# 새로운 페이지 높이가 이전과 같다면 스크롤을 더 이상 내릴 필요가 없으므로 종료
new_height = driver.execute_script("return document.body.scrollHeight")
if new_height == previous_height:
break # 더 이상 새로운 요소가 로드되지 않으면 반복 종료
previous_height = new_height # 이전 높이를 업데이트
# 어제 로그 파일이 있으면 읽기
previous_urls = {}
if os.path.exists(yesterday_log_file_name):
with open(yesterday_log_file_name, 'r', encoding='utf-8') as file:
for line in file.readlines()[1:]: # 첫 번째 줄은 header
columns = line.strip().split(',')
url = columns[0]
notice_status = columns[1]
work_status = columns[2]
done_time = columns[3]
previous_urls[url] = {
'notice_status': notice_status,
'work_status': work_status,
'done_time': done_time
}
# 오늘 로그 파일에 기록할 내용 생성
log_data = []
# 오늘 크롤링한 URL과 어제 로그 파일을 비교하여 상태 설정
for url in all_links:
if os.path.exists(yesterday_log_file_name):
if url in previous_urls:
# 어제 로그 파일에 URL이 있고, work_status가 "done"이 아니면 그대로 가져옴
if previous_urls[url]['work_status'] != "done":
# 작업이 필요하거나 아직 완료되지 않은 경우
notice_status = previous_urls[url]['notice_status']
work_status = previous_urls[url]['work_status']
done_time = previous_urls[url]['done_time']
else:
# "done" 상태면 "exist"로 설정하고, done_time을 그대로 사용
notice_status = "exist"
work_status = "done"
done_time = previous_urls[url]['done_time']
else:
# 어제 로그 파일에 없으면 상태를 "deleted"로 설정
notice_status = "deleted"
work_status = "done"
done_time = datetime.today().strftime('%Y-%m-%d %H:%M:%S') # 삭제된 시간을 현재 시간으로
else:
# 어제 로그 파일이 없으면 모든 URL은 "update"로 설정
notice_status = "update"
work_status = "null"
done_time = "null"
log_data.append(f"{url},{notice_status},{work_status},{done_time}")
# 오늘 로그 파일 생성 (기존 로그 파일 덮어쓰기)
with open(log_file_name, 'w', encoding='utf-8') as file:
# 헤더 작성
file.write("url,notice_status,work_status,done_time\n")
for line in log_data:
file.write(line + "\n")
# 브라우저 종료
driver.quit()어제 로그에있는 링크와 오늘 읽어온 링크를 바탕으로 비교해서 삭제, 업데이트, 유지에 따라 로그를 남김
위의 코드로 생긴 로그를 바탕으로 작업을 함 중간에 작업이 중단되어도, 중단한 부분부터 시작 가능
import re
import os
import time
from datetime import datetime
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
# 셀레니움 웹 드라이버 설정
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()))
# 오늘 날짜로 로그파일 이름 설정
today = datetime.today().strftime('%Y%m%d')
log_file_name = f"{today}.log"
# 크롤링 작업 완료 후 내용을 textnotice 디렉토리에 저장
def save_crawled_content(url, content):
# URL에서 숫자 부분만 추출하여 파일명으로 사용
file_name = url.split('/')[-1] + ".txt"
file_path = os.path.join('textnotice', file_name)
# 디렉토리가 없으면 생성
if not os.path.exists('textnotice'):
os.makedirs('textnotice')
# 크롤링한 내용을 파일에 저장
with open(file_path, 'w', encoding='utf-8') as file:
file.write(content)
print(f"Content saved to {file_path}")
# 페이지 크롤링 함수 (예시로 크롤링할 내용을 입력)
def crawl_url(url):
driver.get(url)
time.sleep(3) # 페이지 로딩 대기 (필요시 WebDriverWait 사용 가능)
try:
# "상세 정보 더 보기" 버튼을 기다리고 클릭
more_button = WebDriverWait(driver, 20).until(
EC.element_to_be_clickable((By.XPATH, "//span[contains(text(), '상세 정보 더 보기')]"))
)
# 버튼이 화면에 보이지 않으면 스크롤하여 화면에 표시
driver.execute_script("arguments[0].scrollIntoView(true);", more_button)
time.sleep(1) # 스크롤 후 잠시 대기
# 버튼 클릭 시도 (다른 요소에 가려져 있을 경우 자바스크립트로 강제로 클릭)
driver.execute_script("arguments[0].click();", more_button)
# 버튼 클릭 후 로딩될 시간 대기
job_content_section = WebDriverWait(driver, 20).until(
EC.presence_of_element_located((By.CSS_SELECTOR, "section.JobContent_JobContent__qan7s"))
)
# 섹션 내의 모든 텍스트 내용 가져오기
job_content_text = job_content_section.text
# 파일로 저장
save_crawled_content(url, job_content_text)
return job_content_text
except Exception as e:
print(f"Error during crawling {url}: {e}")
return "Error during crawling."
# 기존 로그 파일을 읽고, "update" 상태인 URL들만 크롤링
def update_log_file(url, crawl_time):
# 로그 파일을 읽고, 해당 URL의 상태 업데이트
with open(log_file_name, 'r', encoding='utf-8') as file:
lines = file.readlines()
# 새로운 데이터를 담을 리스트
updated_lines = []
for line in lines:
columns = line.strip().split(',')
if columns[0] == url:
# URL이 일치하면 work_status를 "done"으로 업데이트하고, done_time 추가
columns[2] = "done"
columns[3] = crawl_time
updated_line = ','.join(columns)
updated_lines.append(updated_line + '\n')
else:
# 일치하지 않으면 기존 라인을 그대로 추가
updated_lines.append(line)
# 로그 파일을 덮어쓰기 (한 줄씩 업데이트)
with open(log_file_name, 'w', encoding='utf-8') as file:
file.writelines(updated_lines)
# 기존 로그 파일을 읽기
with open(log_file_name, 'r', encoding='utf-8') as file:
lines = file.readlines()
# 'update' 상태인 URL들을 크롤링 대상 리스트에 추가
for line in lines[1:]:
columns = line.strip().split(',')
url = columns[0]
notice_status = columns[1]
work_status = columns[2]
done_time = columns[3]
if notice_status == "update" and work_status == "null":
print(f"Starting crawl for {url}")
# 크롤링 작업 수행
crawl_time = datetime.now().strftime('%Y-%m-%d %H:%M:%S')
content = crawl_url(url) # 크롤링 함수 호출
# 작업이 끝난 후 즉시 로그 파일을 업데이트
update_log_file(url, crawl_time)
# 브라우저 종료
driver.quit()결과
[20241126] 어제 날짜 로그 (20241127파일을 복사하고 252615 url 로그 일부러 지우고, 작업 완료 날짜 11월26일로 바꾼 로그 파일)
[20241127] 오늘 날짜 로그
[작업 처리] update이지만 work_status가 null인 값만 작업함
hun0219
[x] 크롤링해서 링크 저장하기
[x] 링크를 바탕으로 이미 존재하는 데이터는 db,s3에 저장하지 않게하기
테이블 모양
[x] 파일에 유일한 이름 부여해서 s3에 저장하기 (uuid)
s3 모양
t2jt/
[나만의 추가 작업 ]