search

NamsooCho / Crawler_2

연습 프로젝트 입니다.
MIT License
0 stars 1 forks source link

impl replicate_url_checker #10

Closed ywen407 closed 4 years ago

ywen407 commented 4 years ago

agent에서 수집한 데이터를 checksum 중복체크를 통해 파일을 중복 수집하지 않습니다.