请问我的weibo-follow一直无法安装是怎么回事？

SLX-A commented 4 years ago

windows系统。git那一步成功了，然后进入weibo-follow目录进行pip xxxx requirement.txt那一步，结果迟迟安不上去···求问这是咋回事（图的顺序可能不一定准，但可以涵盖所有信息） Q`B$2OLZS_8 VZ `0SBT9US

@)L 8N$H P}92 $@JOWS$@P %CL{T@$8WYF8TZN BQ8UJJ

SLX-A commented 4 years ago

大佬好，我刚刚看了下，原因是因为requiremenst.txt里面lxml的版本太低了，我电脑上早就安装过更高版本的lxml了，因此我把这个改了一下，安装成功。但有一个问题，我没法在其他目录下通过pip -m weibo_follow打开这个程序，只能在weibo-follow目录下，这正常吗？是不是这个程序的唯一目的就是生成一个user_id_list，功能要求比较低、操作步骤少，因此原始的设定也只是在这个目录下运行？

dataabc commented 4 years ago

正常。

这个就是本地的程序，只要运行路径正确，就可以运行。在weibo-follow目录下只需要运行python3 weibo_follow.py，因为weibo_follow.py在该目录下；如果你想在其它目录运行，要使用weibo_follow.py的绝对路径。

如果还有问题，欢迎继续讨论

SLX-A commented 4 years ago

请问为啥weibo_spider可以随处运行，但这个只能本地呀？是什么导致的这种区别？

---原始邮件--- 发件人: "Chen Lei"<notifications@github.com> 发送时间: 2020年9月23日(周三) 凌晨2:11 收件人: "dataabc/weibo-follow"<weibo-follow@noreply.github.com>; 抄送: "lus1995"<lus-psych@foxmail.com>;"Author"<author@noreply.github.com>; 主题: Re: [dataabc/weibo-follow] 请问我的weibo-follow一直无法安装是怎么回事？ (#12)

正常。

这个就是本地的程序，只要运行路径正确，就可以运行。在weibo-follow目录下只需要运行python3 weibo_follow.py，因为weibo_follow.py在该目录下；如果你想在其它目录运行，要使用weibo_follow.py的绝对路径。

如果还有问题，欢迎继续讨论

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

dataabc commented 4 years ago

weibo_spider 有两个版本，源码也是不能随处执行，你说的是weibo_spider pip版，weibo_spider pip版是通过pip安装的，可以随处执行。因为pip版会安装在特有的pip路径下，执行时会在该路径下寻找程序，就可以随处运行。但是源码版该路径下没有，只能我们自己告诉系统代码在哪里。

SLX-A commented 4 years ago

也就是说weibofollow不是pip安装的是吗？(我记得是git，但我搞不太懂两个的区别，是不是意思是git安装只是把weibo_follow那个文件夹给下载下来了，但是没有在pip的路径下面安放程序？)但我记得中途也有一步pip呀(对requirements的那个)，那个没有这个作用吗？

---原始邮件--- 发件人: "Chen Lei"<notifications@github.com> 发送时间: 2020年9月23日(周三) 中午1:21 收件人: "dataabc/weibo-follow"<weibo-follow@noreply.github.com>; 抄送: "lus1995"<lus-psych@foxmail.com>;"Author"<author@noreply.github.com>; 主题: Re: [dataabc/weibo-follow] 请问我的weibo-follow一直无法安装是怎么回事？ (#12)

weibo_spider 有两个版本，源码也是不能随处执行，你说的是weibo_spider pip版，weibo_spider pip版是通过pip安装的，可以随处执行。因为pip版会安装在特有的pip路径下，执行时会在该路径下寻找程序，就可以随处运行。但是源码版该路径下没有，只能我们自己告诉系统代码在哪里。

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

dataabc commented 4 years ago

git clone 是下载到本地，你说的pip是安装其它模块。本程序用到其它模块，这些是要pip安装的，这样我们就可以随处调用它们了，但是本程序没有提供pip安装，所以执行本程序需要指定路径。如果本程序提供pip安装，那pip就分两部分：pip安装本程序+pip安装其它模块，现在源码是：git下载本程序+pip安装其它模块，这就是区别。

SLX-A commented 4 years ago

懂了懂了！感谢大佬！

---原始邮件--- 发件人: "Chen Lei"<notifications@github.com> 发送时间: 2020年9月23日(周三) 下午2:24 收件人: "dataabc/weibo-follow"<weibo-follow@noreply.github.com>; 抄送: "lus1995"<lus-psych@foxmail.com>;"Author"<author@noreply.github.com>; 主题: Re: [dataabc/weibo-follow] 请问我的weibo-follow一直无法安装是怎么回事？ (#12)

git clone 是下载到本地，你说的pip是安装其它模块。本程序用到其它模块，这些是要pip安装的，这样我们就可以随处调用它们了，但是本程序没有提供pip安装，所以执行本程序需要指定路径。如果本程序提供pip安装，那pip就分两部分：pip安装本程序+pip安装其它模块，现在源码是：git下载本程序+pip安装其它模块，这就是区别。

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

SLX-A commented 4 years ago

你好，我正在用你的weibo-follow进行名单爬取，但我发现这个里面有一个不方便的地方就是如果大批量地爬取好几轮的话的话userlist会出现重复，即反复爬之前几轮爬过的用户关注列表。我添加了几个模块优化了一下算法，使得可以在每次爬取之前和之后进行userlist的登记和更新。我是github新手所以不太懂行，想问下这样的话我有办法共同加入这个项目的优化维护之类的吗？

dataabc commented 4 years ago

可以啊。

你可以通过pull request的方式把代码推送到本项目，如果代码没问题，我会把代码merge到现在的代码。具体方法可以参考Github Pull Request的提出与采纳。

感谢热心贡献代码。

SLX-A commented 3 years ago

我艹，你的这个项目也太好了！！！速度又快又有随机漫步···加上个user-agent基本就稳了！我已经在用了，因为科研需要，需要爬大量的名单。

真.一百个Star都是给你的！

------------------ 原始邮件 ------------------ 发件人: "Chen Lei"<notifications@github.com>; 发送时间: 2020年10月15日(星期四) 中午1:47 收件人: "dataabc/weibo-follow"<weibo-follow@noreply.github.com>; 抄送: "Lu Sheng"<lus-psych@foxmail.com>; "Author"<author@noreply.github.com>; 主题: Re: [dataabc/weibo-follow] 请问我的weibo-follow一直无法安装是怎么回事？ (#12)

可以啊。

你可以通过pull request的方式把代码推送到本项目，如果代码没问题，我会把代码merge到现在的代码。具体方法可以参考Github Pull Request的提出与采纳。

感谢热心贡献代码。

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

dataabc commented 3 years ago

客气了

SLX-A commented 2 years ago

大佬你好，最近重新开始使用你的weibospider项目想爬取微博，结果发现每次返回都是 'NoneType' object has no attribute 'dict'。我在想是不是因为微博的反扒机制，所以我想这个能否搞个伪装的headers来突破一下，但是我不太知道该往哪里加。想请教大佬如何突破反爬，谢谢

------------------ 原始邮件 ------------------ 发件人: "Lu Sheng" @.>; 发送时间: 2020年9月23日(星期三) 中午1:26 @.>;

主题: 回复：[dataabc/weibo-follow] 请问我的weibo-follow一直无法安装是怎么回事？ (#12)

也就是说weibofollow不是pip安装的是吗？(我记得是git，但我搞不太懂两个的区别，是不是意思是git安装只是把weibo_follow那个文件夹给下载下来了，但是没有在pip的路径下面安放程序？)但我记得中途也有一步pip呀(对requirements的那个)，那个没有这个作用吗？

---原始邮件--- 发件人: "Chen @.> 发送时间: 2020年9月23日(周三) 中午1:21 收件人: @.>; 抄送: @.**@.>; 主题: Re: [dataabc/weibo-follow] 请问我的weibo-follow一直无法安装是怎么回事？ (#12)

weibo_spider 有两个版本，源码也是不能随处执行，你说的是weibo_spider pip版，weibo_spider pip版是通过pip安装的，可以随处执行。因为pip版会安装在特有的pip路径下，执行时会在该路径下寻找程序，就可以随处运行。但是源码版该路径下没有，只能我们自己告诉系统代码在哪里。

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

dataabc commented 2 years ago

应该是速度太快了，减速看看，我也没有反爬过。

dataabc / weibo-follow

请问我的weibo-follow一直无法安装是怎么回事？ #12