howie6879 / owllook

owllook-小说搜索引擎
https://www.owllook.net
Apache License 2.0
2.65k stars 752 forks source link

请教下爬虫的频率在哪设置的吗 #78

Open mashpolo opened 4 years ago

mashpolo commented 4 years ago

最近一直搜索失败,看了下日志,发现不管是从baidu还是从360搜索,都要求了验证码,导致获取不到正确的页面,看起来像是爬虫太频繁了导致的。 具体返回的结果是

        如果经常出现此页面,请把您的IP和反馈意见<a href="http://info.so.com/feedback.html?add=ip%3A%20185.194.148.243" target="_blank">提交</a>给我们,我们会尽快处理您的反馈。</p>
        <div class="why">
            <strong>为什么会出现验证码?</strong>
            出现验证码表示您所在的网络可能存在异常,同IP短时间内大量发送请求,被服务器判断为异常请求。<br/>
            需要您输入验证码,以确认本次的访问是正常请求,而非机器自动请求,即可正常使用360搜索。
      </div>
    </div>
howie6879 commented 4 years ago

正常 控制请求量

在 2020/2/21,mashpolonotifications@github.com 写道:

最近一直搜索失败,看了下日志,发现不管是从baidu还是从360搜索,都要求了验证码,导致获取不到正确的页面,看起来像是爬虫太频繁了导致的。 具体返回的结果是

        如果经常出现此页面,请把您的IP和反馈意见<a
href="http://info.so.com/feedback.html?add=ip%3A%20185.194.148.243"
target="_blank">提交</a>给我们,我们会尽快处理您的反馈。</p>
        <div class="why">
            <strong>为什么会出现验证码?</strong>
            出现验证码表示您所在的网络可能存在异常,同IP短时间内大量发送请求,被服务器判断为异常请求。<br/>
            需要您输入验证码,以确认本次的访问是正常请求,而非机器自动请求,即可正常使用360搜索。
      </div>
    </div>

-- You are receiving this because you are subscribed to this thread. Reply to this email directly or view it on GitHub: https://github.com/howie6879/owllook/issues/78