l0o0 / jasminum

A Zotero add-on to retrive CNKI meta data. 一个简单的Zotero 插件,用于识别中文元数据
GNU Affero General Public License v3.0
5.56k stars 287 forks source link

抓取信息时出现知网验证页面 #167

Closed rgkhff closed 1 month ago

rgkhff commented 1 year ago

你好,更新知网引用数信息次数多了之后,知网出现验证页面,无法再更新引用数。不知道从哪里可以让zotero通过知网的验证页面? 我试过在线查看论文,会弹出知网验证页面,但是验证通过回到zotero还是说“抓取信息时出现知网验证页面”

rgkhff commented 1 year ago

图片 ![Uploading 图片.png…]()

rgkhff commented 1 year ago

图片

l0o0 commented 1 year ago

我想了解下,你大概抓取了几篇知网文献?我怀疑后面可能元数据的抓取也会出现这样的情况。在抓取知网引用时,并没有添加特别的请求参数,后面我可以尝试添加一些headers,看看效果

rgkhff commented 1 year ago

好像今天一共抓了50篇左右... 之前也遇到过这种情况,抓了很多之后需要验证

l0o0 commented 1 year ago

我感觉会 因为过多抓取,被限制了。看来后面抓取其他数据的时候多注意一下

Eliauk777 commented 1 year ago

那这个问题是因为知网机制,所以基本无解了? 我就是每天更新的第一篇引用数也会出现这种情况,我都怀疑是不是校园网ip使用人数太多了才会这样

rgkhff commented 1 year ago

可能是的TAT,前几天我才抓了20来篇文献吧,更新了几篇的引用数之后就需要验证了......

yzy1228682367 commented 1 year ago

我现在是每天一天都抓取不到了 瘫

Arcticwzh commented 1 year ago

一篇都抓不了了咋办

zouxingyuks commented 10 months ago

本质是链接过期了, v 的值是过期值就会出现这个认证

shmily0127 commented 8 months ago

本质是链接过期了, v 的值是过期值就会出现这个认证

那应该怎么解决呢?

zouxingyuks commented 8 months ago

本质是链接过期了, v 的值是过期值就会出现这个认证

那应该怎么解决呢?

写个滑块拖拽的逻辑就是了,不要绕过,爬虫模拟人的行为才是最重要的

CC-githubs commented 6 months ago

本质上是链接过期了,v的值是过期值就会出现这个认证

那应该怎么解决呢?

写个拖拽的逻辑就是了,不要绕行,爬虫人的行为才是最重要的模拟

请问具体是怎么批量操作呢

jiaojiaodubai commented 1 month ago

可以在代码层面绕过验证码,但不鼓励任何形式的高频抓取。