[Ch 09. 웹 크롤러 설계] 트래픽 양/변경 이력/갱신 빈도를 크롤러가 알 수 있는 방법은 뭘까?

[S00ahKim]

트래픽 양/변경 이력/갱신 빈도를 크롤러가 알 수 있는 방법은 뭘까?

[S00ahKim]

생각

변경 이력이나 갱신 빈도는 크롤러 시스템이 따로 저장해두면 될 것 같기도 하다.

[yoon-chaejin]

트래픽 양

유용성에 따라 URL의 우선순위를 나눌 때는 페이지랭크, 트래픽 양, 갱신 빈도 등 다양한 척도를 사용할 수 있을 것이다. - p153~p154

찾아볼 거리

1. https://ahrefs.com/blog/website-traffic/
2. 검색 엔진에서 유입되는 트래픽 양을 의미한 건 아닐까? (크롤러가 타겟 서버의 트래픽 양을 파악하는 건 아니고)
3. https://www.quora.com/How-does-Alexa-get-web-traffic-data
4. 네이버 서치 어드바이저