search

Neod0Matrix / PixivCrawlerIII

A python3 crawler for crawling Pixiv ranking top and any illustrator all artworks
MIT License
36 stars 9 forks source link

你好，请问ssl故障是什么原因，依赖已全部安装 Ubuntu16 #1

Open bigaha opened 5 years ago

bigaha commented 5 years ago

s81006-15371662

Neod0Matrix commented 5 years ago

Duplicate of #1 可以将你的整个爬取过程完整截图放出来么，看上去是POST KEY请求不成功，你所在的网络可以正常登录P站么，如果你的网络环境是P站DNS被污染的环境，那么就需要开代理服务器并设置为全局代理，保证在命令行下可以正常查询到P站的DNS

bigaha commented 5 years ago

您好，对不起，抱歉没有及时回复。 造成这样的原因可能是我没有填写dataload.py里的文件保存folder,但我高中的英语水平实在抵不上您专业的英文readme,Google翻译也半懂不懂。如图，请问此处如何填写？ s81006-20464709 对于您针对我能否联通pixiv的疑问，我是肯定的，因为这个VPS就是我的代理服务器，我接上它可以成功上pixiv， s81006-20421813 最后是我的操作截图 s81006-20461414

Neod0Matrix commented 5 years ago

关于文件保存路径这一点，我的设计是自行创建一个保存位置，通过os模块获取系统的HOME目录路径，在其中建立一个文件夹存放下载的图片和日志。如果是Linux系统会直接在您的用户目录的Pictures目录内建立Crawler文件夹保存。比方说您的登录用户名是abc，那么文件保存路径就是/home/abc/Pictures/Crawler 如果您需要更换保存目录则修改这个位置 image 通过您的截图我猜测您是在手机上利用SSH工具远程执行Ubuntu服务器上的爬虫，请问您是否有赋予爬虫sudo权限？

bigaha commented 5 years ago

实在不好意思，即使给了sudo权限也依旧如上

bigaha commented 5 years ago

对了，我使用的username是我的邮箱，请问这样会导致问题吗？

Neod0Matrix commented 5 years ago

P站ID就是注册邮箱。 这个错误是由于网站本身验证SSL证书引起的，在我的环境中没有出现过这个异常 您不妨试一下CSDN的这个解决方法https://blog.csdn.net/hudeyu777/article/details/76021573/ URL请求头封装在privmatrix.py的317行，POST key请求头则在privmatrix.py的363行

bigaha commented 5 years ago

我取消了自动验证，已经成功，非常谢谢，正在继续测试！ 本来已经查找到过您推荐的文章，但是我并不知道因此引起，下次我会仔细实践后再问问题的 s81006-22070932

bigaha commented 5 years ago

貌似忘了打码。。

bigaha commented 5 years ago

虽说如此，但请问有没有有关mode选择的文档？

Neod0Matrix commented 5 years ago

您指的是关于rtn和ira两种模式的功能实现文档还是解释说明文档？

bigaha commented 5 years ago

我指的是解释说明文档，现已在程序开头找到

Neod0Matrix commented 5 years ago

嗯，我在类的docstring里做了简单的说明

bigaha commented 5 years ago

请问您许可我将您的成果转帖到我的个人blog上吗？我将会注明您的GitHub链接并增加star推荐，再加以排错过程（可能需要一段时间完成，完成会会通知您） 我的blog：https://www.jvruozhan.com

Neod0Matrix commented 5 years ago

可以的，只要注明出处就可以转载引用