tomleung1996 / wos_crawler

Web of Science Crawler
223 stars 73 forks source link

请问为何可以爬取2000年的数据却无法爬取2020年的数据呢? #23

Open jtydq opened 3 years ago

jtydq commented 3 years ago

因为是校外访问,所以使用按检索式下载的方法,写入sid和query如下:query='AD="china" AND PY=(2000) ',点击执行后能获取pid,并能爬取29万条数据,成功分析。

但是query修改为:query='AD="china" AND PY=(2020) '的时候,显示:

使用给定的SID: xxxxxx 提取得到SID: xxxx 已购买的数据库为: ['IC', 'SCI', 'CCR', 'ESCI', 'AHCI', 'SSCI', 'ISTP'] 提取得到qid: 24572 爬取完成,开始导入数据库(fieldtagged/plaintext) 开始处理内部引证关系……

ERROR: Spider error processing <GET http://apps.webofknowledge.com/summary.do;jsessionid=658AFEABD952DBBFC3F6E8A7E09D8AE2?product=WOS&doc=1&qid=24572&SID=7BgVVIFaUWnwQWYKOqQ&search_mode=AdvancedSearch&update_back2search_link_param=yes> (referer: http://apps.webofknowledge.com/WOS_AdvancedSearch_input.do;jsessionid=9DE46F36554D201D72C3E36FC427642E?product=WOS&search_mode=AdvancedSearch&replaceSetId=&goToPageLoc=SearchHistoryTableBanner&SID=xxx&errorQid=24572) Traceback (most recent call last):

AttributeError: 'NoneType' object has no attribute 'get_text' 2021-08-25 13:52:20 [scrapy.utils.signal] ERROR: Error caught on signal handler: <bound method WosAdvancedQuerySpiderSpider.close of <WosAdvancedQuerySpiderSpider 'wos_advanced_query_spider' at 0x1f9c603b550>> Traceback (most recent call last):

sqlite3.OperationalError: unable to open database file The above exception was the direct cause of the following exception:

请求解答~感激不尽