search

codesofun / web-bee

🐝 Web vertical crawler framework for fun
MIT License
186 stars 38 forks source link

定时器 #23

Open nonacosa opened 7 years ago

nonacosa commented 7 years ago

对于一些反爬不错的网站 典型：知乎 应该特别注意模仿用户行为，应该增加定时器每天分三个时段进行智能爬取

JPCui commented 7 years ago

打算自己做定时么？考虑用quartz么？

反扒也可以考虑使用代理，从网上找几个用用，，，可以考虑实现自动爬取代理的脚本

nonacosa commented 7 years ago

@JPCui 是的，我觉得这个框架为了一个任务调度而引入一个quartz太重了，不如 用 Timer 、ScheduledExecutor等原生java自己封装一个工具类。 代理的话我开始也打算维护自动爬取代理的程序，后来想了想，不如找一个开源的😄