search

yangyangwithgnu / hardseed

SEX IS ZERO (0), so, who wanna be the ONE (1), aha?
GNU General Public License v2.0
9.26k stars 1.83k forks source link

哈哈很有意思，但是运行过程有报错，只下载了一部分图片 #32

Open e2ghost opened 8 years ago

e2ghost commented 8 years ago

让我们抱着学习的态度来研究一下

Download the pictures and seeds of topics: * longjmp causes uninitialized stack frame *: hardseed terminated ======= Backtrace: ========= /lib/i386-linux-gnu/i686/cmov/libc.so.6(__fortify_fail+0x50)[0xb754d3c0] /lib/i386-linux-gnu/i686/cmov/libc.so.6(+0xea32a)[0xb754d32a] /usr/lib/i386-linux-gnu/libcurl.so.4(+0x90f5)[0xb77180f5] /usr/lib/i386-linux-gnu/libstdc++.so.6(_ZNSt6thread4joinEv+0x40)[0xb76b3490] ======= Memory map: ======== 08048000-0808a000 r-xp 00000000 fe:01 529785 /usr/bin/hardseed 0808a000-0808b000 rw-p 00041000 fe:01 529785 /usr/bin/hardseed 0808b000-0808c000 rw-p 00000000 00:00 0 09b9f000-09c7a000 rw-p 00000000 00:00 0 [heap] b2e08000-b2e0a000 r-xp 00000000 fe:01 1183387 /lib/libnss_mdns4.so.2 b2e0a000-b2e0b000 rw-p 00001000 fe:01 1183387 /lib/libnss_mdns4.so.2 b2e13000-b2e14000 ---p 00000000 00:00 0 b2e14000-b3614000 rw-p 00000000 00:00 0 b3614000-b3615000 ---p 00000000 00:00 0 b3615000-b3e15000 rw-p 00000000 00:00 0 b3e15000-b3e16000 ---p 00000000 00:00 0 b3e16000-b4616000 rw-p 00000000 00:00 0 b4616000-b4617000 ---p 00000000 00:00 0 b4617000-b4e17000 rw-p 00000000 00:00 0 b4e17000-b4e18000 ---p 00000000 00:00 0 b4e18000-b5618000 rw-p 00000000 00:00 0 b5618000-b5619000 ---p 00000000 00:00 0 b5619000-b5e19000 rw-p 00000000 00:00 0 b5e19000-b5e1a000 ---p 00000000 00:00 0 b5e1a000-b661a000 rw-p 00000000 00:00 0 b661a000-b661b000 ---p 00000000 00:00 0 b661b000-b6e1b000 rw-p 00000000 00:00 0 b6e1b000-b6e36000 r-xp 00000000 fe:01 529729 /usr/lib/i386-linux-gnu/gconv/GBK.so b6e36000-b6e37000 r--p 0001a000 fe:01 529729 /usr/lib/i386-linux-gnu/gconv/GBK.so b6e37000-b6e38000 rw-p 0001b000 fe:01 529729 /usr/lib/i386-linux-gnu/gconv/GBK.so b6e38000-b6e3c000 r-xp 00000000 fe:01 1183715 /lib/i386-linux-gnu/i686/cmov/libnss_dns-2.13.so b6e3c000-b6e3d000 r--p 00004000 fe:01 1183715 /lib/i386-linux-gnu/i686/cmov/libnss_dns-2.13.so b6e3d000-b6e3e000 rw-p 00005000 fe:01 1183715 /lib/i386-linux-gnu/i686/cmov/libnss_dns-2.13.so b6e3e000-b6e48000 r-xp 00000000 fe:01 1183749 /lib/i386-linux-gnu/i686/cmov/libnss_files-2.13.so b6e48000-b6e49000 r--p 00009000 fe:01 1183749 /lib/i386-linux-gnu/i686/cmov/libnss_files-2.13.so b6e49000-b6e4a000 rw-p 0000a000 fe:01 1183749 /lib/i386-linux-gnu/i686/cmov/libnss_files-2.13.so b6e4b000-b6e52000 r--s 00000000 fe:01 529766 /usr/lib/i386-linux-gnu/gconv/gconv-modules.cache b6e52000-b6e56000 rw-p 00000000 00:00 0 b6e56000-b6e66000 r-xp 00000000 fe:01 529392 /usr/lib/i386-linux-gnu/libp11-kit.so.0.0.0 b6e66000-b6e67000 r--p 00010000 fe:01 529392 /usr/lib/i386-linux-gnu/libp11-kit.so.0.0.0 b6e67000-b6e68000 rw-p 00011000 fe:01 529392 /usr/lib/i386-linux-gnu/libp11-kit.so.0.0.0 b6e68000-b6e78000 r-xp 00000000 fe:01 529810 /usr/lib/i386-linux-gnu/libtasn1.so.3.1.16 b6e78000-b6e79000 r--p 0000f000 fe:01 529810 /usr/lib/i386-linux-gnu/libtasn1.so.3.1.16 b6e79000-b6e7a000 rw-p 00010000 fe:01 529810 /usr/lib/i386-linux-gnu/libtasn1.so.3.1.16 b6e7a000-b6e7b000 rw-p 00000000 00:00 0 b6e7b000-b6e7e000 r-xp 00000000 fe:01 1183905 /lib/i386-linux-gnu/libgpg-error.so.0.8.0 b6e7e000-b6e7f000 rw-p 00002000 fe:01 1183905 /lib/i386-linux-gnu/libgpg-error.so.0.8.0 b6e7f000-b6e82000 r-xp 00000000 fe:01 1183760 /lib/i386-linux-gnu/libkeyutils.so.1.4 b6e82000-b6e83000 r--p 00002000 fe:01 1183760 /lib/i386-linux-gnu/libkeyutils.so.1.4 b6e83000-b6e84000 rw-p 00003000 fe:01 1183760 /lib/i386-linux-gnu/libkeyutils.so.1.4 b6e84000-b6e86000 r-xp 00000000 fe:01 1183730 /lib/i386-linux-gnu/i686/cmov/libdl-2.13.so b6e86000-b6e87000 r--p 00001000 fe:01 1183730 /lib/i386-linux-gnu/i686/cmov/libdl-2.13.so b6e87000-b6e88000 rw-p 00002000 fe:01 1183730 /lib/i386-linux-gnu/i686/cmov/libdl-2.13.so b6e88000-b6e8f000 r-xp 00000000 fe:01 533143 /usr/lib/i386-linux-gnu/libkrb5support.so.0.1 b6e8f000-b6e90000 r--p 00007000 fe:01 533143 /usr/lib/i386-linux-gnu/libkrb5support.so.0.1 b6e90000-b6e91000 rw-p 00008000 fe:01 533143 /usr/lib/i386-linux-gnu/libkrb5support.so.0.1 b6e91000-b6e94000 r-xp 00000000 fe:01 1183873 /lib/i386-linux-gnu/libcom_err.so.2.1 b6e94000-b6e95000 r--p 00002000 fe:01 1183873 /lib/i386-linux-gnu/libcom_err.so.2.1 b6e95000-b6e96000 rw-p 00003000 fe:01 1183873 /lib/i386-linux-gnu/libcom_err.so.2.1 b6e96000-b6e97000 rw-p 00000000 00:00 0 b6e97000-b6ebe000 r-xp 00000000 fe:01 533122 /usr/lib/i386-linux-gnu/libk5crypto.so.3.1 b6ebe000-b6ebf000 r--p 00026000 fe:01 533122 /usr/lib/i386-linux-gnu/libk5crypto.so.3.1 b6ebf000-b6ec0000 rw-p 00027000 fe:01 533122 /usr/lib/i386-linux-gnu/libk5crypto.so.3.1 b6ec0000-b6ec1000 rw-p 00000000 00:00 0 b6ec1000-b6f8c000 r-xp 00000000 fe:01 533136 /usr/lib/i386-linux-gnu/libkrb5.so.3.3 b6f8c000-b6f92000 r--p 000ca000 fe:01 533136 /usr/lib/i386-linux-gnu/libkrb5.so.3.3 b6f92000-b6f93000 rw-p 000d0000 fe:01 533136 /usr/lib/i386-linux-gnu/libkrb5.so.3.3 b6f93000-b7056000 r-xp 00000000 fe:01 532617 /usr/lib/i386-linux-gnu/libgnutls.so.26.22.4 b7056000-b705a000 r--p 000c2000 fe:01 532617 /usr/lib/i386-linux-gnu/libgnutls.so.26.22.4 b705a000-b705b000 rw-p 000c6000 fe:01 532617 /usr/lib/i386-linux-gnu/libgnutls.so.26.22.4 b705b000-b705c000 rw-p 00000000 00:00 0 b705c000-b7076000 r-xp 00000000 fe:01 529397 /usr/lib/i386-linux-gnu/libsasl2.so.2.0.25 b7076000-b7077000 r--p 00019000 fe:01 529397 /usr/lib/i386-linux-gnu/libsasl2.so.2.0.25 b7077000-b7078000 rw-p 0001a000 fe:01 529397 /usr/lib/i386-linux-gnu/libsasl2.so.2.0.25 b7078000-b7088000 r-xp 00000000 fe:01 1183719 /lib/i386-linux-gnu/i686/cmov/libresolv-2.13.so b7088000-b7089000 r--p 00010000 fe:01 1183719 /lib/i386-linux-gnu/i686/cmov/libresolv-2.13.so b7089000-b708a000 rw-p 00011000 fe:01 1183719 /lib/i386-linux-gnu/i686/cmov/libresolv-2.13.so b708a000-b708d000 rw-p 00000000 00:00 0 b708d000-b710e000 r-xp 00000000 fe:01 1183929 /lib/i386-linux-gnu/libgcrypt.so.11.7.0 b710e000-b710f000 ---p 00081000 fe:01 1183929 /lib/i386-linux-gnu/libgcrypt.so.11.7.0 b710f000-b7110000 r--p 00081000 fe:01 1183929 /lib/i386-linux-gnu/libgcrypt.so.11.7.0 b7110000-b7112000 rw-p 00082000 fe:01 1183929 /lib/i386-linux-gnu/libgcrypt.so.11.7.0 b7112000-b7129000 r-xp 00000000 fe:01 1183842 /lib/i386-linux-gnu/libz.so.1.2.7Aborted

yanggs07 commented 8 years ago

我是centOS6.4 minium version 安装gcc4.8.2（折腾的要死……）还是会这样 暂时的解决方案： for ((i=10; i<100; ++i)); do hardseed --saveas-path /path/to/nv/shen --proxy "" --av-class caoliu_selfie --topics-range $i $i; done 下载一个总是没问题的。。 一个一个下吧，每个都在独立的目录里面。。 顺带楼上的兄台，求个重命名的脚本。。 以第一个文件名重命名文件夹……

yangyangwithgnu commented 8 years ago

什么情况？

yanggs07 commented 8 years ago

centOS6.4仍然有这个问题，gcc4.8.2 另外是否可以考虑比如caoliu按照tid去抓。。

sequencer commented 8 years ago

@yanggs07 cl的tid不知道规律 看up主的源代码是按页抓取的

yanggs07 commented 8 years ago

@sequencer 也不用啥规律吧，打个比方可以从大大小抓取，主导一定的tid然后就不抓了。。 另外寻找tid的页数可以二分查找什么的。。 好吧我太贪心了想搬1024回来。。。

yangyangwithgnu commented 8 years ago

@yanggs07 @e2ghost

关于崩溃问题。我没 CentOS 的环境。你用下面方式看下有无更精确的信息： 0）请先用构建 debug 版的 hardseed 试试有无更详细报错提示呢？ 1）在

    cout << "Download the pictures and seeds of topics: " << endl;

后面设置断点，看下具体是哪行代码崩溃的。 2）崩溃前，抓取的帖子数目是固定的么？

关于按 tid 抓取。目的是什么？想断点续下？

需要一次只抓取一张帖子，可以

--concurrent-tasks 1
yanggs07 commented 8 years ago

0 我不太会配置CentOS 现在木有clang编辑器，我用g++ with -g编译的 启动参数就加上--proxy "" 一个没抓到，错误如下： Download the pictures and seeds of topics: * longjmp causes uninitialized stack frame *: ./hardseed terminated ======= Backtrace: ========= /lib/libc.so.6(__fortify_fail+0x4d)[0x449e1d] /lib/libc.so.6(+0xfcd8a)[0x449d8a] /lib/libc.so.6(longjmp_chk+0x49)[0x449cf9] /usr/lib/libcurl.so.4(+0xb0b9)[0xbfe0b9] [0x88b400] [0x88b416] /lib/libpthread.so.0(pthread_join+0x10d)[0x2b222d] /usr/lib/libstdc++.so.6(_ZNSt6thread4joinEv+0x52)[0x831792] ./hardseed(_ZN7AichengC2ERKSsNS_7AvClassERKSt6vectorISsSaISsEEjjS7_S7jjS1+0x2ce)[0x80ab8bc] ./hardseed(main+0x191b)[0x809fb1d] /lib/libc.so.6(libc_start_main+0xe6)[0x363d36] ./hardseed[0x809d271] ======= Memory map: ======== 00110000-00141000 r-xp 00000000 fc:01 6121 /lib/libidn.so.11.6.1 00141000-00142000 rw-p 00030000 fc:01 6121 /lib/libidn.so.11.6.1 00142000-00218000 r-xp 00000000 fc:01 5816 /lib/libkrb5.so.3.3 00218000-0021e000 r--p 000d6000 fc:01 5816 /lib/libkrb5.so.3.3 0021e000-0021f000 rw-p 000dc000 fc:01 5816 /lib/libkrb5.so.3.3 0021f000-00247000 r-xp 00000000 fc:01 5813 /lib/libk5crypto.so.3.1 00247000-00248000 r--p 00028000 fc:01 5813 /lib/libk5crypto.so.3.1 00248000-00249000 rw-p 00029000 fc:01 5813 /lib/libk5crypto.so.3.1 00249000-0024a000 rw-p 00000000 00:00 0 0024c000-00269000 r-xp 00000000 fc:01 3268 /lib/libgcc_s-4.4.7-20120601.so.1 00269000-0026a000 rw-p 0001d000 fc:01 3268 /lib/libgcc_s-4.4.7-20120601.so.1 0026a000-0026d000 r-xp 00000000 fc:01 5050 /lib/libcom_err.so.2.1 0026d000-0026e000 r--p 00002000 fc:01 5050 /lib/libcom_err.so.2.1 0026e000-0026f000 rw-p 00003000 fc:01 5050 /lib/libcom_err.so.2.1 0026f000-00291000 r-xp 00000000 fc:01 5055 /usr/lib/libnssutil3.so 00291000-00294000 r--p 00021000 fc:01 5055 /usr/lib/libnssutil3.so 00294000-00295000 rw-p 00024000 fc:01 5055 /usr/lib/libnssutil3.so 00295000-00298000 r-xp 00000000 fc:01 5054 /lib/libplds4.so 00298000-00299000 r--p 00002000 fc:01 5054 /lib/libplds4.so 00299000-0029a000 rw-p 00003000 fc:01 5054 /lib/libplds4.so 0029a000-0029e000 r-xp 00000000 fc:01 5053 /lib/libplc4.so 0029e000-0029f000 r--p 00003000 fc:01 5053 /lib/libplc4.so 0029f000-002a0000 rw-p 00004000 fc:01 5053 /lib/libplc4.so 002a0000-002a3000 r-xp 00000000 fc:01 4514 /lib/libdl-2.12.so 002a3000-002a4000 r--p 00002000 fc:01 4514 /lib/libdl-2.12.so 002a4000-002a5000 rw-p 00003000 fc:01 4514 /lib/libdl-2.12.so 002a5000-002a7000 r-xp 00000000 fc:01 5805 /lib/libkeyutils.so.1.3 002a7000-002a8000 r--p 00001000 fc:01 5805 /lib/libkeyutils.so.1.3 002a8000-002a9000 rw-p 00002000 fc:01 5805 /lib/libkeyutils.so.1.3 002ab000-002c2000 r-xp 00000000 fc:01 4532 /lib/libpthread-2.12.so 002c2000-002c3000 r--p 00016000 fc:01 4532 /lib/libpthread-2.12.so 002c3000-002c4000 rw-p 00017000 fc:01 4532 /lib/libpthread-2.12.so 002c4000-002c6000 rw-p 00000000 00:00 0 002c6000-00300000 r-xp 00000000 fc:01 4961 /lib/libnspr4.so 00300000-00301000 r--p 00039000 fc:01 4961 /lib/libnspr4.so 00301000-00302000 rw-p 0003a000 fc:01 4961 /lib/libnspr4.so 00302000-00304000 rw-p 00000000 00:00 0 00304000-00311000 r-xp 00000000 fc:01 8892 /lib/liblber-2.4.so.2.10.3 00311000-00312000 r--p 0000d000 fc:01 8892 /lib/liblber-2.4.so.2.10.3 00312000-00313000 rw-p 0000e000 fc:01 8892 /lib/liblber-2.4.so.2.10.3 00313000-0031d000 r-xp 00000000 fc:01 5819 /lib/libkrb5support.so.0.1 0031d000-0031e000 r--p 00009000 fc:01 5819 /lib/libkrb5support.so.0.1 0031e000-0031f000 rw-p 0000a000 fc:01 5819 /lib/libkrb5support.so.0.1 0031f000-00321000 r-xp 00000000 fc:01 4029 /lib/libfreebl3.so 00321000-00322000 r--p 00001000 fc:01 4029 /lib/libfreebl3.so 00322000-00323000 rw-p 00002000 fc:01 4029 /lib/libfreebl3.so 00323000-0034b000 r-xp 00000000 fc:01 4516 /lib/libm-2.12.so 0034b000-0034c000 r--p 00027000 fc:01 4516 /lib/libm-2.12.so 0034c000-0034d000 rw-p 00028000 fc:01 4516 /lib/libm-2.12.so 0034d000-004dd000 r-xp 00000000 fc:01 4508 /lib/libc-2.12.so 004dd000-004de000 ---p 00190000 fc:01 4508 /lib/libc-2.12.so 004de000-004e0000 r--p 00190000 fc:01 4508 /lib/libc-2.12.so 004e0000-004e1000 rw-p 00192000 fc:01 4508 /lib/libc-2.12.so 004e1000-004e4000 rw-p 00000000 00:00 0 004e4000-0061c000 r-xp 00000000 fc:01 8858 /usr/lib/libnss3.so 0061c000-0061f000 r--p 00138000 fc:01 8858 /usr/lib/libnss3.so 0061f000-00621000 rw-p 0013b000 fc:01 8858 /usr/lib/libnss3.so 00621000-00636000 r-xp 00000000 fc:01 4534 /lib/libresolv-2.12.so 00636000-00637000 ---p 00015000 fc:01 4534 /lib/libresolv-2.12.so 00637000-00638000 r--p 00015000 fc:01 4534 /lib/libresolv-2.12.so 00638000-00639000 rw-p 00016000 fc:01 4534 /lib/libresolv-2.12.so 00639000-0063b000 rw-p 00000000 00:00 0 0063b000-0069c000 r-xp 00000000 fc:01 8457 /usr/lib/libssl.so.1.0.1e 0069c000-0069d000 ---p 00061000 fc:01 8457 /usr/lib/libssl.so.1.0.1e 0069d000-0069f000 r--p 00061000 fc:01 8457 /usr/lib/libssl.so.1.0.1e 0069f000-006a3000 rw-p 00063000 fc:01 8457 /usr/lib/libssl.so.1.0.1e 006a3000-006aa000 r-xp 00000000 fc:01 4512 /lib/libcrypt-2.12.so 006aa000-006ab000 r--p 00007000 fc:01 4512 /lib/libcrypt-2.12.so 006ab000-006ac000 rw-p 00008000 fc:01 4512 /lib/libcrypt-2.12.so 006ac000-006d3000 rw-p 00000000 00:00 0 006d3000-006f0000 r-xp 00000000 fc:01 4958 /lib/libselinux.so.1 006f0000-006f1000 r--p 0001c000 fc:01 4958 /lib/libselinux.so.1 006f1000-006f2000 rw-p 0001d000 fc:01 4958 /lib/libselinux.so.1 006f2000-006f7000 r-xp 00000000 fc:01 4522 /lib/libnss_dns-2.12.so 006f7000-006f8000 r--p 00004000 fc:01 4522 /lib/libnss_dns-2.12.so 006f8000-006f9000 rw-p 00005000 fc:01 4522 /lib/libnss_dns-2.12.so 006f9000-00713000 r-xp 00000000 fc:01 4597 /usr/lib/gconv/GBK.so 00713000-00714000 r--p 00019000 fc:01 4597 /usr/lib/gconv/GBK.so 00714000-00715000 rw-p 0001a000 fc:01 4597 /usr/lib/gconv/GBK.so 0078a000-00869000 r-xp 00000000 fc:01 5406 /usr/lib/libstdc++.so.6.0.13 00869000-0086d000 r--p 000de000 fc:01 5406 /usr/lib/libstdc++.so.6.0.13 0086d000-0086e000 rw-p 000e2000 fc:01 5406 /usr/lib/libstdc++.so.6.0.13 0086e000-00875000 rw-p 00000000 00:00 0 0088b000-0088c000 r-xp 00000000 00:00 0 [vdso] 0090a000-00946000 r-xp 00000000 fc:01 17936 /usr/lib/libssl3.so 00946000-00948000 r--p 0003b000 fc:01 17936 /usr/lib/libssl3.so 00948000-00949000 rw-p 0003d000 fc:01 17936 /usr/lib/libssl3.so 0094e000-00976000 r-xp 00000000 fc:01 8861 /usr/lib/libsmime3.so 00976000-00978000 r--p 00028000 fc:01 8861 /usr/lib/libsmime3.so 00978000-00979000 rw-p 0002a000 fc:01 8861 /usr/lib/libsmime3.so 009c7000-00a05000 r-xp 00000000 fc:01 5809 /lib/libgssapi_krb5.so.2.2已放弃 [root@cn build]#

yanggs07 commented 8 years ago

1) 我不太会gdb，但是下了断点之后还没停下来就死掉了： Download the pictures and seeds of topics: [New Thread 0xb7fe8b70 (LWP 16900)] [New Thread 0xb75e7b70 (LWP 16901)] [New Thread 0xb69ffb70 (LWP 16902)] [New Thread 0xb5dffb70 (LWP 16903)] [New Thread 0xb53feb70 (LWP 16904)] [New Thread 0xb49fdb70 (LWP 16905)] [New Thread 0xb3ffcb70 (LWP 16906)] [New Thread 0xb35fbb70 (LWP 16907)] * longjmp causes uninitialized stack frame *: /root/origin/hardseed/build/hardseed terminated ======= Backtrace: ========= /lib/libc.so.6(__fortify_fail+0x4d)[0x3d1e1d] /lib/libc.so.6(+0xfcd8a)[0x3d1d8a] /lib/libc.so.6(longjmp_chk+0x49)[0x3d1cf9] /usr/lib/libcurl.so.4(+0xb0b9)[0x13c0b9] [0x130400] [0x130416] /lib/libpthread.so.0(pthread_join+0x10d)[0x18e22d] /usr/lib/libstdc++.so.6(_ZNSt6thread4joinEv+0x52)[0x249792] /root/origin/hardseed/build/hardseed(_ZN7AichengC2ERKSsNS_7AvClassERKSt6vectorISsSaISsEEjjS7_S7jjS1+0x2ce)[0x80ab8bc] /root/origin/hardseed/build/hardseed(main+0x191b)[0x809fb1d] /lib/libc.so.6(libc_start_main+0xe6)[0x2ebd36] /root/origin/hardseed/build/hardseed[0x809d271] ======= Memory map: ======== 00110000-0012e000 r-xp 00000000 fc:01 4501 /lib/ld-2.12.so 0012e000-0012f000 r--p 0001d000 fc:01 4501 /lib/ld-2.12.so 0012f000-00130000 rw-p 0001e000 fc:01 4501 /lib/ld-2.12.so 00130000-00131000 r-xp 00000000 00:00 0 [vdso] 00131000-00185000 r-xp 00000000 fc:01 8847 /usr/lib/libcurl.so.4.1.1 00185000-00187000 rw-p 00053000 fc:01 8847 /usr/lib/libcurl.so.4.1.1 00187000-0019e000 r-xp 00000000 fc:01 4532 /lib/libpthread-2.12.so 0019e000-0019f000 r--p 00016000 fc:01 4532 /lib/libpthread-2.12.so 0019f000-001a0000 rw-p 00017000 fc:01 4532 /lib/libpthread-2.12.so 001a0000-001a2000 rw-p 00000000 00:00 0 001a2000-00281000 r-xp 00000000 fc:01 5406 /usr/lib/libstdc++.so.6.0.13 00281000-00285000 r--p 000de000 fc:01 5406 /usr/lib/libstdc++.so.6.0.13 00285000-00286000 rw-p 000e2000 fc:01 5406 /usr/lib/libstdc++.so.6.0.13 00286000-0028d000 rw-p 00000000 00:00 0 0028d000-002b5000 r-xp 00000000 fc:01 4516 /lib/libm-2.12.so 002b5000-002b6000 r--p 00027000 fc:01 4516 /lib/libm-2.12.so 002b6000-002b7000 rw-p 00028000 fc:01 4516 /lib/libm-2.12.so 002b7000-002d4000 r-xp 00000000 fc:01 3268 /lib/libgcc_s-4.4.7-20120601.so.1 002d4000-002d5000 rw-p 0001d000 fc:01 3268 /lib/libgcc_s-4.4.7-20120601.so.1 002d5000-00465000 r-xp 00000000 fc:01 4508 /lib/libc-2.12.so 00465000-00466000 ---p 00190000 fc:01 4508 /lib/libc-2.12.so 00466000-00468000 r--p 00190000 fc:01 4508 /lib/libc-2.12.so 00468000-00469000 rw-p 00192000 fc:01 4508 /lib/libc-2.12.so 00469000-0046c000 rw-p 00000000 00:00 0 0046c000-0049d000 r-xp 00000000 fc:01 6121 /lib/libidn.so.11.6.1 0049d000-0049e000 rw-p 00030000 fc:01 6121 /lib/libidn.so.11.6.1 0049e000-004ee000 r-xp 00000000 fc:01 8894 /lib/libldap-2.4.so.2.10.3 004ee000-004ef000 r--p 0004f000 fc:01 8894 /lib/libldap-2.4.so.2.10.3 004ef000-004f0000 rw-p 00050000 fc:01 8894 /lib/libldap-2.4.so.2.10.3 004f0000-004f7000 r-xp 00000000 fc:01 4536 /lib/librt-2.12.so 004f7000-004f8000 r--p 00006000 fc:01 4536 /lib/librt-2.12.so 004f8000-004f9000 rw-p 00007000 fc:01 4536 /lib/librt-2.12.so 004f9000-00537000 r-xp 00000000 fc:01 5809 /lib/libgssapi_krb5.so.2.2 00537000-00538000 r--p 0003e000 fc:01 5809 /lib/libgssapi_krb5.so.2.2 00538000-00539000 rw-p 0003f000 fc:01 5809 /lib/libgssapi_krb5.so.2.2 00539000-0060f000 r-xp 00000000 fc:01 5816 /lib/libkrb5.so.3.3 0060f000-00615000 r--p 000d6000 fc:01 5816 /lib/libkrb5.so.3.3 00615000-00616000 rw-p 000dc000 fc:01 5816 /lib/libkrb5.so.3.3 00616000-0063e000 r-xp 00000000 fc:01 5813 /lib/libk5crypto.so.3.1 0063e000-0063f000 r--p 00028000 fc:01 5813 /lib/libk5crypto.so.3.1 0063f000-00640000 rw-p 00029000 fc:01 5813 /lib/libk5crypto.so.3.1 00640000-00641000 rw-p 00000000 00:00 0 00641000-00644000 r-xp 00000000 fc:01 5050 /lib/libcom_err.so.2.1 00644000-00645000 r--p 00002000 fc:01 5050 /lib/libcom_err.so.2.1 00645000-00646000 rw-p 00003000 fc:01 5050 /lib/libcom_err.so.2.1 00646000-00658000 r-xp 00000000 fc:01 4960 /lib/libz.so.1.2.3 00658000-00659000 r--p 00011000 fc:01 4960 /lib/libz.so.1.2.3 00659000-0065a000 rw-p 00012000 fc:01 4960 /lib/libz.so.1.2.3 0065a000-00696000 r-xp 00000000 fc:01 17936 /usr/lib/libssl3.so 00696000-00698000 r--p 0003b000 fc:01 17936 /usr/lib/libssl3.so 00698000-00699000 rw-p 0003d000 fc:01 17936 /usr/lib/libssl3.so 00699000-006c1000 r-xp 00000000 fc:01 8861 /usr/lib/libsmime3.so 006c1000-006c3000 r--p 00028000 fc:01 8861 /usr/lib/libsmime3.so 006c3000-006c4000 rw-p 0002a000 fc:01 8861 /usr/lib/libsmime3.so 006c4000-007fc000 r-xp 00000000 fc:01 8858 /usr/lib/libnss3.so 007fc000-007ff000 r--p 00138000 fc:01 8858 /usr/lib/libnss3.so 007ff000-00801000 rw-p 0013b000 fc:01 8858 /usr/lib/libnss3.so 00801000-00823000 r-xp 00000000 fc:01 5055 /usr/lib/libnssutil3.so 00823000-00826000 r--p 00021000 fc:01 5055 /usr/lib/libnssutil3.so 00826000-00827000 rw-p 00024000 fc:01 5055 /usr/lib/libnssutil3.so 00827000-0082a000 r-xp 00000000 fc:01 5054 /lib/libplds4.so 0082a000-0082b000 r--p 00002000 fc:01 5054 /lib/libplds4.so 0082b000-0082c000 rw-p 00003000 fc:01 5054 /lib/libplds4.so 0082c000-00830000 r-xp 00000000 fc:01 5053 /lib/libplc4.so 00830000-00831000 r--p 00003000 fc:01 5053 /lib/libplc4.so 00831000-00832000 rw-p 00004000 fc:01 5053 /lib/libplc4.so 00832000-0086c000 r-xp 00000000 fc:01 4961 /lib/libnspr4.so 0086c000-0086d000 r--p 00039000 fc:01 4961 /lib/libnspr4.so 0086d000-0086e000 rw-p 0003a000 fc:01 4961 /lib/libnspr4.so 0086e000-00870000 rw-p 00000000 00:00 0 00870000-00873000 r-xp 00000000 fc:01 4514 /lib/libdl-2.12.so 00873000-00874000 r--p 00002000 fc:01 4514 /lib/libdl-2.12.so 00874000-00875000 rw-p 00003000 fc:01 4514 /lib/libdl-2.12.so 00875000-0089c000 r-xp 00000000 fc:01 8806 /usr/lib/libssh2.so.1.0.1 0089c000-0089d000 rw-p 00026000 fc:01 8806 /usr/lib/libssh2.so.1.0.1 0089d000-008aa000 r-xp 00000000 fc:01 8892 /lib/liblber-2.4.so.2.10.3 008aa000-008ab000 r--p 0000d000 fc:01 8892 /lib/liblber-2.4.so.2.10.3 008ab000-008ac000 rw-p 0000e000 fc:01 8892 /lib/liblber-2.4.so.2.10.3 008ac000-008c1000 r-xp 00000000 fc:01 4534 /lib/libresolv-2.12.so 008c1000-008c2000 ---p 00015000 fc:01 4534 /lib/libresolv-2.12.so 008c2000-008c3000 r--p 00015000 fc:01 4534 /lib/libresolv-2.12.so 008c3000-008c4000 rw-p 00016000 fc:01 4534 /lib/libresolv-2.12.so 008c4000-008c6000 rw-p 00000000 00:00 0 008c6000-008df000 r-xp 00000000 fc:01 6894 /usr/lib/libsasl2.so.2.0.23 008df000-008e0000 r--p 00018000 fc:01 6894 /usr/lib/libsasl2.so.2.0.23 008e0000-008e1000 rw-p 00019000 fc:01 6894 /usr/lib/libsasl2.so.2.0.23 Program received signal SIGABRT, Aborted. 0x00130416 in __kernel_vsyscall () (gdb)

2) 不是固定的，应该是子threads出了问题才这样吧 大概是

yanggs07 commented 8 years ago

其他的，我这有一台cent6.4的主机，可以随意折腾，没有业务在跑。。 你如果需要用可以留下你的public key我加到许可里面去。 按照tid下载的好处是，我可以每天知道新的贴子并且只关注新的贴子（还可以过滤掉置顶的那些） 另，还有，比如我想从1500开始下就不必一页一页翻到1500什么的。。大概是这个目的吧

一个比较简单的想法是，parse一下tid然后设置一个阈值比这个小就pass

最后，还是祝愿作者新年快乐，福寿安康！

yangyangwithgnu commented 8 years ago

@yanggs07 很好的建议，只是 TID 完全没规律，我试过在某张帖子的 TID 上递增或递减一后，出现 404 错误，但基于发帖时间，也可达到你的目的，等我蕴酿下。另外，方便的话能否直接分配个帐号和密码，我测试下 CnetOS 上的问题。

yanggs07 commented 8 years ago

我最近做了一个抓取discuz的爬虫 代码在https://github.com/yanggs07/cgcal/blob/master/CI/application/controllers/bbs_search.php 主要是这部分。代码写的比较丑，也没用多线程，但是两三天弄了快10w的帖子我也觉得差不多了。 抓好了历史的帖子之后，每日的增补分两步，先获取tid然后根据tid抓archive。 增补我5分钟抓一次，一般不会超过一屏幕，然后获取数据库中已有的最大的tid，然后比对第一页每一个pid，如果有小于这个tid，就不理。 原理也很简单，虽然tid不连续，但是是只增不减的。

所以hardseed抓cl可以从这两个方向入手，抓新帖从第一页过滤置顶的绿色的贴子，抓普通主题的tid大于某一个数的；老贴子直接从某一页开始依次往后抓，这样效率会再一截哈——也不容易被ban = =

我有一个主机就被ban了。。

嗯 centOS 6.4的主机的key发到作者邮箱了欢迎查收随意折腾。。

scola commented 8 years ago

我把 hardseed 用 Android ndk 编译, 之后 push 到手机 执行, 只有 --concurrent-tasks 1 才能正常使用, 大于 1 100% 崩溃, @yangyangwithgnu 有空的话, 麻烦指导一下

06-01 14:34:44.226 3021 3021 F libc : Fatal signal 11 (SIGSEGV) at 0x0000014c (code=1), thread 3021 (hardseed) 06-01 14:34:44.356 10679 10679 I DEBUG : * * * * * * * * * * * * * * * * 06-01 14:34:44.356 10679 10679 I DEBUG : Build fingerprint: 'samsung/sltetdzc/sltechn:4.4.4/KTU84P/G8508SZCE1ANHB:eng/test-keys' 06-01 14:34:44.356 10679 10679 I DEBUG : Revision: '9' 06-01 14:34:44.356 10679 10679 I DEBUG : pid: 3021, tid: 3021, name: hardseed >>> ./hardseed --proxy --saveas-path /mnt/shell/emulated/0/Android/ --concurrent-tasks 4 --timeout-download-picture 32 --topics-range 8 <<< 06-01 14:34:44.356 10679 10679 I DEBUG : signal 11 (SIGSEGV), code 1 (SEGV_MAPERR), fault addr 0000014c

06-01 14:34:44.376 10679 10679 I DEBUG : backtrace: 06-01 14:34:44.376 10679 10679 I DEBUG : #00 pc 0002cd08 /data/log/hardseed (curl_multi_add_handle+324) 06-01 14:34:44.376 10679 10679 I DEBUG : 06-01 14:34:44.376 10679 10679 I DEBUG : stack: 06-01 14:34:44.376 10679 10679 I DEBUG : b6b99610 b6b99640 [stack:3021] 06-01 14:34:44.376 10679 10679 I DEBUG : b6b99614 00025a88 /data/log/hardseed (unescapeHtml(std::string const&)+2076) 06-01 14:34:44.376 10679 10679 I DEBUG : b6b99618 000a6ce8 /data/log/hardseed 06-01 14:34:44.376 10679 10679 I DEBUG : b6b9961c 0044010c [heap] 06-01 14:34:44.376 10679 10679 I DEBUG : b6b99620 00000003
06-01 14:34:44.376 10679 10679 I DEBUG : b6b99624 0044010c [heap] 06-01 14:34:44.376 10679 10679 I DEBUG : b6b99628 00000030
06-01 14:34:44.376 10679 10679 I DEBUG : b6b9962c 0043fbd0 [heap] 06-01 14:34:44.376 10679 10679 I DEBUG : b6b99630 b6b99648 [stack:3021] 06-01 14:34:44.376 10679 10679 I DEBUG : b6b99634 b6b99680 [stack:3021] 06-01 14:34:44.376 10679 10679 I DEBUG : b6b99638 000366a5 /data/log/hardseed (multi_runsingle+2485) 06-01 14:34:44.376 10679 10679 I DEBUG : b6b9963c 000926d5 /data/log/hardseed (std::locale::_Impl::_Impl(unsigned int)+3237) 06-01 14:34:44.376 10679 10679 I DEBUG : b6b99640 000366a5 /data/log/hardseed (multi_runsingle+2485) 06-01 14:34:44.376 10679 10679 I DEBUG : b6b99644 23bfb1db
06-01 14:34:44.376 10679 10679 I DEBUG : b6b99648 b6b996ac [stack:3021] 06-01 14:34:44.376 10679 10679 I DEBUG : b6b9964c 00034cf8 /data/log/hardseed (curl_multi_add_handle+308)

scola commented 8 years ago

手机使用 shadowsocks 翻墙, 后台有一个 VPN service, 所以 我一直 --proxy "" , 只有 --concurrent-tasks 1 才能正常使用,

刚才 --proxy socks5://127.0.0.1:1080 , --concurrent-tasks 8 都能正常运行了, 看来还是需要设置代理参数