[Chapter 09] Q&A

[zziri]

[Chapter 09] 웹 크롤러 설계

• 궁금한 점 혹은 이야기하고 싶은 주제 코멘트로 정리
• 추가로 같이 보면 좋을 것 같은 기술 블로그, 아티클 등 공유

[zziri]

지훈

• p.147 "효과적인 방법은 웹 페이지의 해시 값을 비교하는 것이다."
  • 웹 페이지 전체의 해시 값을 말하는 걸까

[travelbeeee]

현석

• 내용이 많아서 그렇지 이해가 안가는 부분은 딱히 없었습니다.
• (❓지훈이형 코멘트에 대한 생각) 저는 A페이지와 B페이지가 같은 페이지인지 구분하기 위해 해시함수를 사용하므로, 웹 페이지 전체 String(html코드) 에 대해서 해시 함수 처리를 하는게 아닐까 생각했습니다.
• 미수집 URL 저장소에서 분산 크롤링을 진행하는데, 도메인 이름 변환기에서는 분산 서버를 운영하면 안되나?? 도메인 이름 변환기에 대해서는 책에서 캐시 처리 얘기만 나왔는데 수 백, 수 천 대의 서버로 분산 크롤링을 진행하면 도메인 이름 변환기도 분산 서버로 운영해야되지않을까?? ( 안되는 이유는 딱히 생각이 안나는데 안되는 이유가 있을까요?? )
  • DNS 는 외부에 이미 구축되어있는 서버를 보통 이용하므로 캐시 처리 정도만 얘기가 나온 것 같다. ( 우리 관할 X )

[kihyun-yang]

기현

• 두 웹 페이지의 해시 값을 비교한다는 것은 HTML 문서를 문자열로 보고 비교하는 것보다 더 효과적일 것이라는 것에는 이견이 없지만, 해시는 입력 값이 서로 다르더라도 결과 값이 같아질 수 있는 충돌이 발생할 수 있다. 충돌을 해결하지 못하면 중복 컨텐츠가 아닌데도 컨텐츠를 저장하지 못하는 상황이 생기지 않을까? 의문
  • 충돌 확률이 거의 없는 해싱함수 존재
  • ex) sha-256 (http://wiki.hash.kr/index.php/SHA256)
  • 크롤러 특성 상 중복 컨텐츠를 저장하지 못하더라도 크리티컬하지 않을 경우 많을것
• DFS는 그래프의 크기가 클 경우 어느정도로 깊숙히 가게 될 지 가늠하기 어렵기 때문에 좋은 선택이 아닐 가능성이 높다고 책에서 언급하는데, 깊이를 가늠하지 못하면 어떤 불리함이 생길 수 있을지?
  • 스택오버플로우 우려?
  • 특정 호스트에 관련된 URL만 크롤링하게 되는 결과를 얻을 수도 있다?

[meloncha]

민석

검색엔진 최적화 사이트가 되는 법

• 네이버 : https://searchadvisor.naver.com/guide/seo-basic-intro
• 구글 : https://developers.google.com/search/docs/beginner/seo-starter-guide?hl=ko

유해 콘텐츠 제외하는 방법

• 크롤러가 유해한 콘텐츠를 어떻게 감지할 수 있을까?
• 유튜브 : https://m.khan.co.kr/economy/economy-general/article/202110191604001 -> 사람이 함..
• 페이스북 : http://www.aitimes.com/news/articleView.html?idxno=47482 -> 머신러닝 AI로 해결

[easyfordev]

이지

• 저... 금주 개인 사정으로 스터디 준비에 미흡하여.. 이번 챕터는 3단계 상세설계 초반까지밖에 읽지 못했습니다..ㅠ
  • 여기까지 읽으면서는 크게 궁금한점이 없었습니다..!
  • (죄송합니다...)

[KKambi]

한비

checksum

a small-sized block of data derived from another block of digital data

• 목적 : 네트워크 전송 or 저장 사이에 파일이 손상되지 않았는지 검사 (데이터 무결성)
• 체크섬이 동일하다면 중복 컨텐츠
• 일종의 해시. 단지 값을 만드는 방법이 데이터를 합한 후 변환시켜 아웃풋을 만드는것