search

s045pd / DarkNet_ChineseTrading

🚇暗网中文网监控爬虫(DEEPMIX)
https://gcokedsa123.grafana.net/dashboard/snapshot/2OJ9OtmtitwiGcIqwIVhvzgmTKDBtTkF
MIT License
1.07k stars 302 forks source link

最近貌似爬取不到数据了 #25

Closed h35h4n9 closed 5 years ago

h35h4n9 commented 5 years ago

是不是暗网又更新了，最近这几天爬取不到数据，还有个问题就是脚本运行一段时间会sleep然后就不启了

s045pd commented 5 years ago

站点访问延迟巨高，疑似因近期敏感时期，建议10月7后再看，望知悉。

h35h4n9 commented 5 years ago

是的最近在本机使用tor连接deepmix都无法正常访问。敏感期过了再试下，感谢

h35h4n9 commented 5 years ago

老哥现在一直报这个错误是因为什么呢，也是延迟的问题？ [2019-09-27 09:34:33,667][Parser->get_login_and_reg_payload]: 'NoneType' object has no attribute 'attrs' [2019-09-27 09:34:33,667]'NoneType' object has no attribute 'attrs', retrying in 2 seconds...

h35h4n9 commented 5 years ago

手动点有时候也跳不过去。正常3秒会跳转。

s045pd commented 5 years ago

deepmixaasic2p6vm6f4d4g52e4ve6t37ejtti4holhhkdsmq3jsf3id.onion deepmixl6jyyextuekqvufhaw3k4fv2zygcllo5lciupwdru6cb7xeqd.onion deepmixjso4ero6h3psxskkb756offo3uznx4a44vuc5464mjkqwndyd.onion deepmixbf6xqt3m7kagmurdt4v43f2h3doc23h7hrkjlroovyjsvseqd.onion qu4xonadcy5beq7jlmlvs3xn5fxdcavex425iy4ipiwzswzn4jazgqad.onion leywywjrenxtqccnx7clrlhed6p2xphdg24q5kxw7camgjctzloourad.onion

今天看了下，以上域名都无法访问。

sevck commented 5 years ago

+1 同样遇到此类问题

sevck commented 5 years ago

@aoii103 暗网已经恢复了 但是还是报 [Parser->get_login_and_reg_payload]: 'NoneType' object has no attribute 'attrs‘

s045pd commented 5 years ago

好的 我去看下

s045pd commented 5 years ago

恩的 可以打开登录面板了，这几天我会把脚本做一次更新推送

sevck commented 5 years ago

好的 谢谢

zsp00 commented 5 years ago

加油老铁

s045pd commented 5 years ago

数据已经能爬了 ，但逻辑和注册还有点小问题，攻克中

zsp00 commented 5 years ago

老铁，最新访问地址多少

s045pd commented 5 years ago

deepmix4izfgaal2mkfpn3cbjxxcs6wyp3lcgp6ksjhtt75vn2gangqd.onion

zsp00 commented 5 years ago

就等你commit了

amykiki commented 5 years ago

我用最新的网址也访问不了，跳转后是访问链接已丢失

s045pd commented 5 years ago

今天调试的时候经常这样

s045pd commented 5 years ago

老哥们 应该没啥大问题了 都试试吧

h35h4n9 commented 5 years ago

已能成功爬取了。感谢老哥。辛苦

s045pd commented 5 years ago

好的 有问题及时喊我

sevck commented 5 years ago

好的 感谢