search

srx-2000 / spider_collection

python爬虫，目前库存：网易云音乐歌曲爬取，B站视频爬取，知乎问答爬取，壁纸爬取，xvideos视频爬取，有声书爬取，微博爬虫，安居客信息爬取+数据可视化，哔哩哔哩视频封面提取器，ip代理池封装，知乎百万级用户爬虫+数据分析，github用户爬虫
MIT License
1.22k stars 221 forks source link

请问知乎爬虫项目有没有安装运行教程，在部署运行过程中遇到了一些问题比如ValueError: substring not found这种 #23

Closed qianlongxiao closed 2 years ago

qianlongxiao commented 2 years ago

具体项目 【e.g. 知乎用户爬虫】

bug描述 清晰简短的描述bug

bug复现步骤

  1. ...
  2. ...

报错信息 请贴出完整的报错信息

系统环境

其他 其余相关描述或内容

srx-2000 commented 2 years ago

嗯？具体是用户数据爬虫还是问答爬虫，请贴出具体完整的报错信息

qianlongxiao commented 2 years ago

image

qianlongxiao commented 2 years ago

嗯？具体是用户数据爬虫还是问答爬虫，请贴出具体完整的报错信息

image z这样的错误不知道怎么处理

qianlongxiao commented 2 years ago

嗯？具体是用户数据爬虫还是问答爬虫，请贴出具体完整的报错信息

如果有时间的话能加一下联系方式沟通吗？

qianlongxiao commented 2 years ago

嗯？具体是用户数据爬虫还是问答爬虫，请贴出具体完整的报错信息

image z这样的错误不知道怎么处理

问答爬虫的报错

srx-2000 commented 2 years ago

爬虫的报错

嗯.....这个问题我也不太清楚是因为什么，就看报错信息而言，可能是你的一个临时js文件中的变量发生了问题，应该是execjs运行时发生了冲突，可以找到该文件以及，并查看其第一行61个字符的位置具体发生了什么错误。

qianlongxiao commented 2 years ago

您当初使用的配置环境是怎么样的呢？运行这个爬虫时是不是强制要求PyYAML版本和PyExecJS版本了？

can't comment at this time.

srx-2000 commented 2 years ago

can't comment at this time.

嗯....其他版本的库我暂时没有测试过，我使用的库的版本就是requirements中对应的两个库的版本，你可以使用上面的版本试试看

sunshineandleaves commented 2 years ago

can't comment at this time.

嗯....其他版本的库我暂时没有测试过，我使用的库的版本就是requirements中对应的两个库的版本，你可以使用上面的版本试试看

使用了上面版本但是问题依然没有解决

srx-2000 commented 2 years ago

上面版本但是问题依然没有解

嗯.....也是同样的错误嘛，我这里刚刚尝试的运行了一下，两个爬虫都还可以运行，我也在网上进行了以下搜索好像也没有人有遇到过这种情况，我怀疑可能是环境有问题，但也不确定

qianlongxiao commented 2 years ago

上面版本但是问题依然没有解

嗯.....也是同样的错误嘛，我这里刚刚尝试的运行了一下，两个爬虫都还可以运行，我也在网上进行了以下搜索好像也没有人有遇到过这种情况，我怀疑可能是环境有问题，但也不确定

能给一下你的环境配置表嘛？我想参考一下因为这个爬虫能否运行对我很重要

qianlongxiao commented 2 years ago

上面版本但是问题依然没有解

嗯.....也是同样的错误嘛，我这里刚刚尝试的运行了一下，两个爬虫都还可以运行，我也在网上进行了以下搜索好像也没有人有遇到过这种情况，我怀疑可能是环境有问题，但也不确定

配上一下我的环境图 image

qianlongxiao commented 2 years ago

上面版本但是问题依然没有解

嗯.....也是同样的错误嘛，我这里刚刚尝试的运行了一下，两个爬虫都还可以运行，我也在网上进行了以下搜索好像也没有人有遇到过这种情况，我怀疑可能是环境有问题，但也不确定

配上一下我的环境图 image

这个项目用到了那些配置希望可以具体一点比如数据库如何配置的

qianlongxiao commented 2 years ago

本项目的url是否过期了，能否分享一下你运行的url值

qianlongxiao commented 2 years ago

image 请问这个问题你运行时是否接触过，有解决办法吗？

qianlongxiao commented 2 years ago

方便加一下联系方式吗，问题有点多

srx-2000 commented 2 years ago

方便加一下联系方式吗，问题有点多

qq：1601684622

sunshineandleaves commented 2 years ago

具体项目 【例如知乎用户爬虫】

bug描述 清晰简短的描述bug

bug复现步骤

  1. ...
  2. ...

报错信息 请贴出完整的报错信息

系统环境

  • 操作系统： Windows10
  • ide： pycharm
  • pyhon版本： 3.7.3

其他 其余相关描述或内容

具体项目 【例如知乎用户爬虫】

bug描述 清晰简短的描述bug

bug复现步骤

  1. ...
  2. ...

报错信息 请贴出完整的报错信息

系统环境

  • 操作系统： Windows10
  • ide： pycharm
  • pyhon版本： 3.7.3

其他 其余相关描述或内容 我帖一下我遇到的问题和解决方法 python版本需要一致，这个python对应的版本是3.7.3， 需要node.js from spider.ProxyPool import Proxy_pool报错要找到mark dierctory as选中test source root cooike值可能会遇到空格错误