Closed matrixChimera closed 4 years ago
GUI暂不支持输入SID,如果您的IP没有WOS访问器,这个爬虫也无法帮您获得数据。 如果您能够获得SID,请调用相应的函数并进行传参
如果您已经传入SID,请确保SID正确,我刚刚尝试爬取并未出现问题(近期WOS访问比较慢,可能需要代理,代理不影响SID)。如果成功执行,提示信息如下:
使用给定的SID: XXX 已购买的数据库为: ['IC', 'SCI', 'CCR', 'ESCI', 'AHCI', 'SSCI', 'ISSHP', 'ISTP'] 提取得到qid: 1 共有XXX条文献需要下载 正在下载第 1 到第 500 条文献
GUI暂不支持输入SID,如果您的IP没有WOS访问器,这个爬虫也无法帮您获得数据。 如果您能够获得SID,请调用相应的函数并进行传参
如果您已经传入SID,请确保SID正确,我刚刚尝试爬取并未出现问题(近期WOS访问比较慢,可能需要代理,代理不影响SID)。如果成功执行,提示信息如下:
使用给定的SID: XXX 已购买的数据库为: ['IC', 'SCI', 'CCR', 'ESCI', 'AHCI', 'SSCI', 'ISSHP', 'ISTP'] 提取得到qid: 1 共有XXX条文献需要下载 正在下载第 1 到第 500 条文献
按照@tomleung1996的方法尝试成功,成功要点如下,以供其他朋友参考:
pip install PyQt5 -i https://pypi.douban.com/simple
pip install qt5reactor -i https://pypi.douban.com/simple
pip install scrapy -i https://pypi.douban.com/simple
pip install bs4 -i https://pypi.douban.com/simple
pip install bibtexparser -i https://pypi.douban.com/simple
pip install sqlalchemy -i https://pypi.douban.com/simple
pip install networkX -i https://pypi.douban.com/simple
#……(省略了main.py文件中的其他无需修改的代码)#
if __name__ == '__main__':
# 按期刊下载
# crawl_by_journal(journal_list_path=r'C:\Users\Tom\PycharmProjects\wos_crawler\input\journal_list_test.txt',
# output_path=r'E:\wos爬取结果', output_format='fieldtagged', document_type='')
# 按检索式下载——为各参数填入相应的值:
# crawl_by_query(query='TS=(neurofibroma) AND PY=(2000-2020)',
output_path='../output', output_format='fieldtagged', document_type='Article', sid='')
# 使用GUI下载(仅在校园网IP地址内可用,使用时无需输入SID,直接运行代码)
crawl_by_gui()
pass
pip install PyQt5 -i https://pypi.douban.com/simple
pip install qt5reactor -i https://pypi.douban.com/simple
pip install scrapy -i https://pypi.douban.com/simple
pip install bs4 -i https://pypi.douban.com/simple
pip install bibtexparser -i https://pypi.douban.com/simple
pip install sqlalchemy -i https://pypi.douban.com/simple
pip install networkX -i https://pypi.douban.com/simple
#……(省略了main.py文件中的其他无需修改的代码)#
if __name__ == '__main__':
# 按期刊下载
# crawl_by_journal(journal_list_path=r'C:\Users\Tom\PycharmProjects\wos_crawler\input\journal_list_test.txt',
# output_path=r'E:\wos爬取结果', output_format='fieldtagged', document_type='')
# 按检索式下载——为各参数填入相应的值:
crawl_by_query(query='TS=(neurofibroma) AND PY=(2000-2020)',
output_path='../output', output_format='fieldtagged', document_type='Article', sid='')
# 使用GUI下载(仅在校园网IP地址内可用,使用时无需输入SID,直接运行代码)
# crawl_by_gui()
pass
获取SID的方法:在浏览器中手动打开已登录的WoS检索界面,在浏览器地址栏中的URL中可找到SID:
及时更换SID:SID是定时更新的,所以(间隔12小时或24小时以上)再次使用该项目爬取数据时,应重新查找并更换SID;
使用VPN:不在校园网IP地址内运行该项目时,需要使用VPN;如果没有使用VPN,即使SID正确,也无法爬取数据。
不在校园网的时候,使用SID也可以正常爬取。只是有时候因为防火墙等原因WOS响应速度非常慢,因此才需要代理
问题:
平台:
Macos Catalina 版本 10.15.1
下载代码时间:
2020-03-31