Closed Fm96Hz closed 2 years ago
目前geektime有个针对新用户的活动，用手机号在网页端注册，再去登app，会送你5天全场免费，感觉他们对这个免费的状态没做区分，geektime query 一下，全部都是已订阅，那就意味着你全部都能导出做成kindle，然后用calibre做成pdf。 目前我已经全部导出专栏文章了，视频和MP3没尝试，geektime的反爬机制仅仅只是5分左右的黑名单，以及次数超过3次时的黑名单，所以10分钟去爬一次就好了，每2次间隔15min，挂24小时就能把目前所有的专栏爬下来，哈哈哈哈不知道他们什么时候能注意到。 Linux脚本如下：
ID=id.txt #所有课程id flag=0 #统计次数 for id in cat ${ID} do echo " date "+ %H:%M:%S" start download" flag=$[${flag}+1] geektime login --account=yourPhonenumber -p yourPasswd if [ $? -eq 0 ];then geektime ebook ${id} if [ $? -eq 0 ];then echo "down ${id}" >> down.txt else echo "down ${id} failed" >> down.txt fi fi if [ ${flag} -eq 2 ];then echo " next in date "+ %H:%M:%S" -d "+ 15min" " sleep 15m else echo " next in date "+ %H:%M:%S" -d "+ 10min" " sleep 10m fi done
cat ${ID}
date "+ %H:%M:%S"
date "+ %H:%M:%S" -d "+ 15min"
date "+ %H:%M:%S" -d "+ 10min"
@Fm96Hz 这个 issue 删了吧，违背初衷了。
jachinlin
commented
2 years ago jachinlin
commented
2 years ago
目前geektime有个针对新用户的活动，用手机号在网页端注册，再去登app，会送你5天全场免费，感觉他们对这个免费的状态没做区分，geektime query 一下，全部都是已订阅，那就意味着你全部都能导出做成kindle，然后用calibre做成pdf。 目前我已经全部导出专栏文章了，视频和MP3没尝试，geektime的反爬机制仅仅只是5分左右的黑名单，以及次数超过3次时的黑名单，所以10分钟去爬一次就好了，每2次间隔15min，挂24小时就能把目前所有的专栏爬下来，哈哈哈哈不知道他们什么时候能注意到。 Linux脚本如下：
!/bin/bash
ID=id.txt #所有课程id flag=0 #统计次数 for id in
cat ${ID}do echo "date "+ %H:%M:%S"start download" flag=$[${flag}+1] geektime login --account=yourPhonenumber -p yourPasswd if [ $? -eq 0 ];then geektime ebook ${id} if [ $? -eq 0 ];then echo "down ${id}" >> down.txt else echo "down ${id} failed" >> down.txt fi fi if [ ${flag} -eq 2 ];then echo " next indate "+ %H:%M:%S" -d "+ 15min"" sleep 15m else echo " next indate "+ %H:%M:%S" -d "+ 10min"" sleep 10m fi done