크롤링 ip 차단 이슈

[hun0219]

웹 : 사람인 wifi / ip : playdata1_5G / 222.106.254.196 이슈 현상 : 크롤링 테스트로 인한 ip 차단 (sleep time 3s) 해결 방안 : 사람인 고객센터에 문의 남겨 놓은 상태

• 이미 차단 당한 ip를 고객센터에 문의하여 해제 후에 또 막히지 않을 것이란 보장이 없음.
• 크롤링 시 한 절차마다 sleep을 10초 이상 줘도 또 다시 막히지 않을 것이란 보장이 없음.

[dMario24]

• 상업적 목적이 아닌 학습용이라 어느 정도 용인 될 수 있겠습니다.

• 다만 부하를 해당 싸이트에 영업목적과 부합되지 않네 주는 행위는 불법적(법에 의한 처벌이란 의미 보다는 같은 업종에 있는 동료적 관점에서 서로 비해야 하는 부분도 있는거고 ...) 작업이 됩니다.

• 그러니 아주 조심스럽고 느리게 크롤링을 시도하되 해당 싸이트 정책에 따라 막힌다면 바로 포기하는것이 좋다는 의견입니다. 우리도 잠시 후면 크롤링을 막아야 하는 엔지니어가 될 겁니다 ㅎ

• https://SITE-URL/robots.txt 파일에 Disallow 로 표기된 경로는 크롤링을 허용하지 않는 것으로 보고 있고 여기에 적용되지 않은 부분도 해당 사이트 정책에 따라 크롤링은 불편한 부분일 가능성이 높습니다.

• 크롤링이 불가 하다면 대안을 마련해 보세요. 더미 데이터를 만들어 본다거나 ... ^^

• [ ] 사람인

• [ ] 잡코리아

• [ ] 링크드인

• [ ] 원티드

• [ ] 쩜핏

• [ ] 인쿠르트

• [ ] 로켓펀치

• [ ] 랠릿