search

jhao104 / proxy_pool

Python ProxyPool for web spider
https://jhao104.github.io/proxy_pool/
MIT License
20.85k stars 5.05k forks source link

能提供txt格式的提取方式吗? #766

Open zwingser opened 9 months ago

zwingser commented 9 months ago

现在默认的get是json的提取方式。很对第三方脚本需要定制转成txt格式的。一些ip代理网站都提供txt的导出模式，希望能够提供getTXTIP方法。只保留json中的proxy字段就可以了。使用上方便很多。

image

wangerg commented 9 months ago

这个可以自己改，加个api没啥难度吧

cn-knight commented 9 months ago

我自己加了。谢谢

发件人: wang xu 发送时间: 2023年10月1日 22:02 收件人: jhao104/proxy_pool 抄送: Subscribed 主题: Re: [jhao104/proxy_pool] 能提供txt格式的提取方式吗? (Issue #766)

这个可以自己改，加个api没啥难度吧 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.***>

cf48rty commented 8 months ago

我自己加了。谢谢 发件人: wang xu 发送时间: 2023年10月1日 22:02 收件人: jhao104/proxy_pool 抄送: Subscribed 主题: Re: [jhao104/proxy_pool] 能提供txt格式的提取方式吗? (Issue #766) 这个可以自己改，加个api没啥难度吧 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.***> 大牛可以分享一下加好的吗？

cn-knight commented 8 months ago

我把setting里的httpts验证网站改成https://www.1688.com了，验证都OK的代理，为啥用在爬取1688.com的爬虫里，大部分还是打不开网页啊，苦恼。

发件人: cf48rty 发送时间: 2023年10月17日 8:37 收件人: jhao104/proxy_pool 抄送: cn-knight; Comment 主题: Re: [jhao104/proxy_pool] 能提供txt格式的提取方式吗? (Issue #766)

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

zwingser commented 8 months ago

我把setting里的httpts验证网站改成https://www.1688.com了，验证都OK的代理，为啥用在爬取1688.com的爬虫里，大部分还是打不开网页啊，苦恼。 发件人: cf48rty 发送时间: 2023年10月17日 8:37 收件人: jhao104/proxy_pool 抄送: cn-knight; Comment 主题: Re: [jhao104/proxy_pool] 能提供txt格式的提取方式吗? (Issue #766) — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

建议fork个项目自己处理吧,我都自己改了想要的功能。你这个明显和验证机制相关，现在是2个定时任务，一个爬取，一个验证。另外，现在可用的源质量也有关系。

zwingser commented 8 months ago

我自己加了。谢谢 发件人: wang xu 发送时间: 2023年10月1日 22:02 收件人: jhao104/proxy_pool 抄送: Subscribed 主题: Re: [jhao104/proxypool] 能提供txt格式的提取方式吗? (Issue #766) 这个可以自己改，加个api没啥难度吧 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @_.***> 大牛可以分享一下加好的吗？

我也自己加了，到我项目里面直接拿我的docker部署就行了。