fluffy0301 / jay_jiwoo

1 stars 0 forks source link

crawling, scraping #105

Open fluffy0301 opened 2 years ago

fluffy0301 commented 2 years ago

크롤링 (crawling)

조직적, 자동화된 방법을 통하여 웹을 탐색하는 컴퓨터 프로그램을 크롤러(crawler)라고 한다.

따라서 크롤링은, 크롤러가 특정 규칙을 가지고 여러 사이트의 페이지를 탐색하며 수집하고 분류하는 것을 말한다. 크롤링도 스키 래핑의 일종이다(스키 래핑이 더 큰 범위를 포함하는 의미)

스크래핑 (scraping)

웹으로 특정 짓지 않으며, 모든 소스로부터 필요한 데이터를 가져오고, 원하는 형태로 가공하는 것을 말한다. 따라서 크롤링과 비슷한 의미이며 구분하기 어렵지만 스키 래핑이 더 큰 범위를 가지며, 크롤링도 스크래핑에 포함되는 단어라고 한다.