jrhu05 / jrhu05.github.io

hexo博客
0 stars 2 forks source link

利用接口漏洞爬妹子图 | JerryFu's Blog #83

Open jrhu05 opened 5 years ago

jrhu05 commented 5 years ago

http://blog.hytcshare.com/post/tuwan-spider.html

ekoro0 commented 5 years ago

感谢分享! 我好像也有类似经历。。我发现 https://www.leshe.us 这个网站也是可以爬的,比如图包标题是 轻兰映画 SPL.013 [70P416M] 下载链接就是 http://111.231.221.217:34567/A:/轻兰映画/轻兰映画 SPL.013.zip 。这个链接不用验证就可以下载的,不过我小水管带宽下不动很痛苦。。。博主可以去试试。

kozora commented 5 years ago

感谢分享! 我好像也有类似经历。。我发现 https://www.leshe.us 这个网站也是可以爬的,比如图包标题是 轻兰映画 SPL.013 [70P416M] 下载链接就是 http://111.231.221.217:34567/A:/轻兰映画/轻兰映画 SPL.013.zip 。这个链接不用验证就可以下载的,不过我小水管带宽下不动很痛苦。。。博主可以去试试。

有解压密码

jrhu05 commented 5 years ago

感谢分享! 我好像也有类似经历。。我发现 https://www.leshe.us 这个网站也是可以爬的,比如图包标题是 轻兰映画 SPL.013 [70P416M] 下载链接就是 http://111.231.221.217:34567/A:/轻兰映画/轻兰映画 SPL.013.zip 。这个链接不用验证就可以下载的,不过我小水管带宽下不动很痛苦。。。博主可以去试试。

有解压密码

解压密码是leshe

bert97 commented 5 years ago

感谢分享! 我好像也有类似经历。。我发现 https://www.leshe.us 这个网站也是可以爬的,比如图包标题是 轻兰映画 SPL.013 [70P416M] 下载链接就是 http://111.231.221.217:34567/A:/轻兰映画/轻兰映画 SPL.013.zip 。这个链接不用验证就可以下载的,不过我小水管带宽下不动很痛苦。。。博主可以去试试。

怎么爬到的》?这个全是渣渣打了水印了。我倒是知道没有水印的度盘,不过麻烦。另外的同类型网站amlyu.com你试试呢

loliconer commented 5 years ago

资源类网站一定要做好防爬虫机制、权限验证、资源名称不可猜解

loliconer commented 5 years ago

感谢分享! 我好像也有类似经历。。我发现 https://www.leshe.us 这个网站也是可以爬的,比如图包标题是 轻兰映画 SPL.013 [70P416M] 下载链接就是 http://111.231.221.217:34567/A:/轻兰映画/轻兰映画 SPL.013.zip 。这个链接不用验证就可以下载的,不过我小水管带宽下不动很痛苦。。。博主可以去试试。

除了森萝财团系列,其他的都可以下,看来森萝财团可能是其他格式的链接。

jrhu05 commented 5 years ago

感谢分享! 我好像也有类似经历。。我发现 https://www.leshe.us 这个网站也是可以爬的,比如图包标题是 轻兰映画 SPL.013 [70P416M] 下载链接就是 http://111.231.221.217:34567/A:/轻兰映画/轻兰映画 SPL.013.zip 。这个链接不用验证就可以下载的,不过我小水管带宽下不动很痛苦。。。博主可以去试试。

除了森萝财团系列,其他的都可以下,看来森萝财团可能是其他格式的链接。

是森罗财团,用这个就可以了

SeraphHsing commented 5 years ago

莫不是被站主举报了 ps.百度云会员可以在线解压 然后下载/滑稽

smallpure-two commented 5 years ago

请问1366有压缩包吗?喜欢这妹子但是直接下载的图质量好差

jrhu05 commented 5 years ago

请问1366有压缩包吗?喜欢这妹子但是直接下载的图质量好差

没有哎,你可以试试以图搜图,到网上找找

1602911145 commented 5 years ago

找接口,貌似已经没有zip了

smallpure-two commented 5 years ago

花了一块钱买了,发现是用了百度云盘,买了后就会有提取码的,链接 https://wx.mengmeituku.com/events/twjfxjhv4?wpay=1#/my

ggaa1000 commented 5 years ago

有人爬后续的图吗?

AnonymousK120 commented 5 years ago

你好,能再传一遍百度云,Yunfile,Mega.nz或者Google Drive之类的网盘吗。网上的种子已是死种,百度云也全线崩。这次加密,或者用Hash Manager之类的软件批量变更压缩包的哈希值再传下。我画画想用到这些三次元素材,真的很棒,非常感谢

AnonymousK120 commented 5 years ago

原本的zip下载全都不可用了,链接也被转到dynamics-share.tuwan.com上,扫描了下只有dynamics-share.tuwan.com/dir/比较可疑

bignnonster commented 5 years ago

针对java的核心内容实现了python版 移步https://github.com/bignnonster/tuwan_crawler

jrhu05 commented 5 years ago

针对java的核心内容实现了python版 移步https://github.com/bignnonster/tuwan_crawler 赞! 项目说明姊妹项目追加了哦(╹▽╹)

SakuraSora commented 5 years ago

你您好博主 我是一名计算机专业的大一新生 也正在学习java web的相关知识 我在用Navicat导入sql文件的时候提示[ERR] 1294 - Invalid ON UPDATE clause for 'log_time' column 上网查询错误大概是说mysql版本不一致造成的 我用的是mysql5.5版本 请问博主用的是哪一版本的mysql呢?或者问下如何解决导入出错的问题?谢谢!!

SakuraSora commented 5 years ago

[SQL] Query my_spider start [ERR] 1294 - Invalid ON UPDATE clause for 'log_time' column [ERR] /* Navicat MySQL Data Transfer

Source Server : 10.1.1.174 Source Server Version : 50640 Source Host : 10.1.1.174:3306 Source Database : my_spider

Target Server Type : MYSQL Target Server Version : 50640 File Encoding : 65001

Date: 2019-01-23 19:28:19 */

SET FOREIGN_KEY_CHECKS=0;

jrhu05 commented 5 years ago

你您好博主 我是一名计算机专业的大一新生 也正在学习java web的相关知识 我在用Navicat导入sql文件的时候提示[ERR] 1294 - Invalid ON UPDATE clause for 'log_time' column 上网查询错误大概是说mysql版本不一致造成的 我用的是mysql5.5版本 请问博主用的是哪一版本的mysql呢?或者问下如何解决导入出错的问题?谢谢!!

你好,这个问题是由于高版本的mysql导数据到低版本所引起,最简单的解决方案是使用更高版本的mysql数据库(5.6以上),如我测试使用的是5.6.40版本。 还有一种较为麻烦的方式是通过notepad++等编辑软件打开需要导入的SQL文件,定位到包含log_time的建表语句,将其中的log_time datetime DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP替换为log_time datetime DEFAULT NULL,即去掉“ON UPDATE CURRENT_TIMESTAMP”,然后保存重新导入即可

inscool commented 5 years ago

百度云链接谁在分享一下呗

cooper1x commented 5 years ago

tuwan的这个图下载下来是几十K的,不是原图吧

hxy545680604 commented 5 years ago

用IDEA运行的时候一直没成功,仔细看了下有三行红色的地方,请问是什么原因

ERROR 12716 --- [ restartedMain] com.zaxxer.hikari.pool.HikariPool : HikariPool-1 - Exception during pool initialization. ERROR 12716 --- [ restartedMain] com.zaxxer.hikari.pool.HikariPool : HikariPool-1 - Exception during pool initialization. ERROR 12716 --- [ restartedMain] o.s.boot.SpringApplication : Application run failed

hxy545680604 commented 5 years ago

老哥,已经开始爬了,但是兔玩和leshe都只爬到了图片,没有压缩包。我下载leshe的时候,所有的图片都保存在一个文件夹,也没有分类,没有命名,请问老哥怎么办

I-NFINITY commented 5 years ago

有人能试着用speedpan分享一下吗,这软件可以分享部分和谐资源

kashimaaa commented 5 years ago

博主您好,原链接都已失效,请问按这个方法依然能爬到吗?能不能重新发一下资源呢?等您的好消息。。。。。

jrhu05 commented 5 years ago

请问是否还有压缩包资源?想要存一份,方便发一下吗? 目前我只知道一个微力同步可以隐私分享文件,可以分享一下吗? 微力官网:http://www.verysync.com

压缩包已经重新上传,在文章的末尾,抓紧下载哦,防止又被举报了(:з」∠)

jrhu05 commented 5 years ago

百度云链接谁在分享一下呗

压缩包已经重新上传,在文章的末尾,抓紧下载哦,防止又被举报了(:з」∠)

jrhu05 commented 5 years ago

tuwan的这个图下载下来是几十K的,不是原图吧

是的,应该是压缩过的

jrhu05 commented 5 years ago

用IDEA运行的时候一直没成功,仔细看了下有三行红色的地方,请问是什么原因

ERROR 12716 --- [ restartedMain] com.zaxxer.hikari.pool.HikariPool : HikariPool-1 - Exception during pool initialization. ERROR 12716 --- [ restartedMain] com.zaxxer.hikari.pool.HikariPool : HikariPool-1 - Exception during pool initialization. ERROR 12716 --- [ restartedMain] o.s.boot.SpringApplication : Application run failed

可能是mysql数据库配置有误

jrhu05 commented 5 years ago

有人能试着用speedpan分享一下吗,这软件可以分享部分和谐资源

压缩包已经重新上传,在文章的末尾,抓紧下载哦,防止又被举报了(:з」∠)

jrhu05 commented 5 years ago

有人能试着用speedpan分享一下吗,这软件可以分享部分和谐资源

压缩包已经重新上传,在文章的末尾,抓紧下载哦,防止又被举报了(:з」∠)

ziokuroi commented 5 years ago

接口似乎更换加密方式了,博主还会更新爬虫吗?

Sunsome commented 5 years ago

之前在网上看到了直接用python爬取 import json import re import requests from requests.exceptions import RequestException from urllib.parse import urlencode from urllib.parse import unquote from multiprocessing import Pool import os from hashlib import md5 def get_page(offset): key={ 'type':'image', 'dpr':3, 'id':offset, } url = 'https://api.tuwan.com/apps/Welfare/detail?' + urlencode(key) try: response = requests.get(url) if response.status_code == 200: return response.text return None except RequestException: print("请求页出错", url) return None def getUrl(html):

pattern1 = re.compile('"thumb":(.*?)}', re.S)
result = re.findall(pattern1, html)
bigUrl=result[0]
bigUrl=bigUrl.replace('"','').replace('\\','')
pattern2 = re.compile('(http.*?.+jpg),', re.S)
result2 = re.findall(pattern2, bigUrl)
bigUrl=result2[0]

pattern3 = re.compile('(http.*?==.*?\.jpg)', re.S)
result3=re.findall(pattern3,result[3])
smallUrl = []
for item in result3:
    # print(item.replace('\\',''))
    smallUrl.append(item.replace('\\',''))
return (bigUrl,smallUrl)

def findReplaceStr(url): pattern = re.compile('.?thumb/jpg/+(.?wx+)(.?)(/u/.?).jpg', re.S) result = re.match(pattern, url) return result.group(2)

def getBigImageUrl(url,replaceStr): pattern = re.compile('.?thumb/jpg/+(.?wx+)(.?)(/u/.?).jpg', re.S) result = re.match(pattern, url) newurl='http://img4.tuwandata.com/v3/thumb/jpg/'+result.group(1)+replaceStr+ result.group(3) return newurl def save_image(content,offset): path='{0}'.format(os.getcwd()+'\image\'+str(offset)) file_path='{0}{1}.{2}'.format(path,md5(content).hexdigest(), 'jpg')

if not os.path.exists(path):
    os.mkdir(path)
if not os.path.exists(file_path):
    with open(file_path,'wb') as f:
        f.write(content)
        f.close()

def download_images(url,offset): print('downloading:',url) try: response = requests.get(url) if response.status_code == 200: save_image(response.content,offset) return None except RequestException: print("请求图片出错",url) return None

def download(bigImageUrl,smallImageUrl,offset): replaceStr = findReplaceStr(bigImageUrl) for url in smallImageUrl: download_images(getBigImageUrl(url,replaceStr),offset)

def main(offset): try: html = get_page(offset) urls = getUrl(html) download(urls[0], urls[1], offset) return None except Exception: print("地址出错:",offset) return None

if name == 'main': groups = [x for x in range(1,3000)] pool = Pool() pool.map(main,groups)

tanakakiyoshi99 commented 5 years ago

Thank you very much for your blog sir. Do you have plan (baidu) on id 1400+ to ~ 1700? 1 ~ 2 month ago i could run your python but now i can not >"<. It is hard for me to run the code because i don't any thing about python or sql. Waiting for you sir.

wuyouV commented 5 years ago

非常好的爬虫案例, 感谢博主, 我想问一下博主用了多久开始爬数据的, 就是这一套代码写了多长时间

wuyouV commented 5 years ago

我刚才用同样的方法去调他们的接口,现在他们返回参数里的url没有值,应该是发现了自己的这个漏洞

jrhu05 commented 5 years ago

我刚才用同样的方法去调他们的接口,现在他们返回参数里的url没有值,应该是发现了自己的这个漏洞

写代码倒是没有用很久,下载倒是用了蛮长时间。 接口漏洞很早之前就被补上了,直接下载ZIP的方法已经失效,还好有全站拖下来。(:з」∠)

jrhu05 commented 5 years ago

非常好的爬虫案例, 感谢博主, 我想问一下博主用了多久开始爬数据的, 就是这一套代码写了多长时间

第一版本的代码写完大约花了1小时不到吧,下载用了十几个小时......

wuyouV commented 5 years ago

我刚才充钱买了图包,发现同样的图片,我改成https协议就可以访问全图,但是好像还校验账号

wuyouV commented 5 years ago

我上一句说错了, 和协议没关系, 他们现在在访问apps/Welfare/detail的时候返回的图片是缩略图, 但是如果购买了图片, 后台就会把全图的地址也返回, 变机灵了

hexiaoyanh commented 5 years ago

老哥,你这网站在手机上打开有bug,不知道怎么分析

loliconer commented 5 years ago

感谢分享! 我好像也有类似经历。。我发现 https://www.leshe.us 这个网站也是可以爬的,比如图包标题是 轻兰映画 SPL.013 [70P416M] 下载链接就是 http://111.231.221.217:34567/A:/轻兰映画/轻兰映画 SPL.013.zip 。这个链接不用验证就可以下载的,不过我小水管带宽下不动很痛苦。。。博主可以去试试。

最近发现leshe网上的资源不是一手的,加了水印,并且导致图片文件大小变大了50%以上。

ferocknew commented 3 years ago

301-400

链接: https://pan.baidu.com/s/1duJZudsDYRMAkhXSNp3EuA

提取码: ve1n

这个文件现在失效了。。。