Closed skyoo2003 closed 8 years ago
크롤링으로 수집되는 필드 중에 필수 필드가 누락되면, 후처리 파이프라인으로 넘기지 않고 Drop 되도록 처리 title, content, writer, created_at 필드만 체크합니다. (일단, url, category 는 항상 받아올 수 있다는 가정하에 체크 로직에서 빼두었습니다.)
리뷰 부탁드려욤ㅎㅎ
fixed https://github.com/teamyy/gotcha/issues/11
크롤링으로 수집되는 필드 중에 필수 필드가 누락되면, 후처리 파이프라인으로 넘기지 않고 Drop 되도록 처리 title, content, writer, created_at 필드만 체크합니다. (일단, url, category 는 항상 받아올 수 있다는 가정하에 체크 로직에서 빼두었습니다.)
리뷰 부탁드려욤ㅎㅎ
fixed https://github.com/teamyy/gotcha/issues/11