Open jrhu05 opened 5 years ago
感谢分享! 我好像也有类似经历。。我发现 https://www.leshe.us 这个网站也是可以爬的,比如图包标题是 轻兰映画 SPL.013 [70P416M] 下载链接就是 http://111.231.221.217:34567/A:/轻兰映画/轻兰映画 SPL.013.zip 。这个链接不用验证就可以下载的,不过我小水管带宽下不动很痛苦。。。博主可以去试试。
感谢分享! 我好像也有类似经历。。我发现 https://www.leshe.us 这个网站也是可以爬的,比如图包标题是 轻兰映画 SPL.013 [70P416M] 下载链接就是 http://111.231.221.217:34567/A:/轻兰映画/轻兰映画 SPL.013.zip 。这个链接不用验证就可以下载的,不过我小水管带宽下不动很痛苦。。。博主可以去试试。
有解压密码
感谢分享! 我好像也有类似经历。。我发现 https://www.leshe.us 这个网站也是可以爬的,比如图包标题是 轻兰映画 SPL.013 [70P416M] 下载链接就是 http://111.231.221.217:34567/A:/轻兰映画/轻兰映画 SPL.013.zip 。这个链接不用验证就可以下载的,不过我小水管带宽下不动很痛苦。。。博主可以去试试。
有解压密码
解压密码是leshe
感谢分享! 我好像也有类似经历。。我发现 https://www.leshe.us 这个网站也是可以爬的,比如图包标题是 轻兰映画 SPL.013 [70P416M] 下载链接就是 http://111.231.221.217:34567/A:/轻兰映画/轻兰映画 SPL.013.zip 。这个链接不用验证就可以下载的,不过我小水管带宽下不动很痛苦。。。博主可以去试试。
怎么爬到的》?这个全是渣渣打了水印了。我倒是知道没有水印的度盘,不过麻烦。另外的同类型网站amlyu.com你试试呢
资源类网站一定要做好防爬虫机制、权限验证、资源名称不可猜解
感谢分享! 我好像也有类似经历。。我发现 https://www.leshe.us 这个网站也是可以爬的,比如图包标题是 轻兰映画 SPL.013 [70P416M] 下载链接就是 http://111.231.221.217:34567/A:/轻兰映画/轻兰映画 SPL.013.zip 。这个链接不用验证就可以下载的,不过我小水管带宽下不动很痛苦。。。博主可以去试试。
除了森萝财团系列,其他的都可以下,看来森萝财团可能是其他格式的链接。
感谢分享! 我好像也有类似经历。。我发现 https://www.leshe.us 这个网站也是可以爬的,比如图包标题是 轻兰映画 SPL.013 [70P416M] 下载链接就是 http://111.231.221.217:34567/A:/轻兰映画/轻兰映画 SPL.013.zip 。这个链接不用验证就可以下载的,不过我小水管带宽下不动很痛苦。。。博主可以去试试。
除了森萝财团系列,其他的都可以下,看来森萝财团可能是其他格式的链接。
是森罗财团,用这个就可以了
莫不是被站主举报了 ps.百度云会员可以在线解压 然后下载/滑稽
请问1366有压缩包吗?喜欢这妹子但是直接下载的图质量好差
请问1366有压缩包吗?喜欢这妹子但是直接下载的图质量好差
没有哎,你可以试试以图搜图,到网上找找
找接口,貌似已经没有zip了
花了一块钱买了,发现是用了百度云盘,买了后就会有提取码的,链接 https://wx.mengmeituku.com/events/twjfxjhv4?wpay=1#/my
有人爬后续的图吗?
你好,能再传一遍百度云,Yunfile,Mega.nz或者Google Drive之类的网盘吗。网上的种子已是死种,百度云也全线崩。这次加密,或者用Hash Manager之类的软件批量变更压缩包的哈希值再传下。我画画想用到这些三次元素材,真的很棒,非常感谢
原本的zip下载全都不可用了,链接也被转到dynamics-share.tuwan.com上,扫描了下只有dynamics-share.tuwan.com/dir/比较可疑
针对java的核心内容实现了python版 移步https://github.com/bignnonster/tuwan_crawler
针对java的核心内容实现了python版 移步https://github.com/bignnonster/tuwan_crawler 赞! 项目说明姊妹项目追加了哦(╹▽╹)
你您好博主 我是一名计算机专业的大一新生 也正在学习java web的相关知识 我在用Navicat导入sql文件的时候提示[ERR] 1294 - Invalid ON UPDATE clause for 'log_time' column 上网查询错误大概是说mysql版本不一致造成的 我用的是mysql5.5版本 请问博主用的是哪一版本的mysql呢?或者问下如何解决导入出错的问题?谢谢!!
[SQL] Query my_spider start [ERR] 1294 - Invalid ON UPDATE clause for 'log_time' column [ERR] /* Navicat MySQL Data Transfer
Source Server : 10.1.1.174 Source Server Version : 50640 Source Host : 10.1.1.174:3306 Source Database : my_spider
Target Server Type : MYSQL Target Server Version : 50640 File Encoding : 65001
Date: 2019-01-23 19:28:19 */
SET FOREIGN_KEY_CHECKS=0;
你您好博主 我是一名计算机专业的大一新生 也正在学习java web的相关知识 我在用Navicat导入sql文件的时候提示[ERR] 1294 - Invalid ON UPDATE clause for 'log_time' column 上网查询错误大概是说mysql版本不一致造成的 我用的是mysql5.5版本 请问博主用的是哪一版本的mysql呢?或者问下如何解决导入出错的问题?谢谢!!
你好,这个问题是由于高版本的mysql导数据到低版本所引起,最简单的解决方案是使用更高版本的mysql数据库(5.6以上),如我测试使用的是5.6.40版本。
还有一种较为麻烦的方式是通过notepad++等编辑软件打开需要导入的SQL文件,定位到包含log_time的建表语句,将其中的log_time
datetime DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP替换为log_time
datetime DEFAULT NULL,即去掉“ON UPDATE CURRENT_TIMESTAMP”,然后保存重新导入即可
百度云链接谁在分享一下呗
tuwan的这个图下载下来是几十K的,不是原图吧
用IDEA运行的时候一直没成功,仔细看了下有三行红色的地方,请问是什么原因
ERROR 12716 --- [ restartedMain] com.zaxxer.hikari.pool.HikariPool : HikariPool-1 - Exception during pool initialization. ERROR 12716 --- [ restartedMain] com.zaxxer.hikari.pool.HikariPool : HikariPool-1 - Exception during pool initialization. ERROR 12716 --- [ restartedMain] o.s.boot.SpringApplication : Application run failed
老哥,已经开始爬了,但是兔玩和leshe都只爬到了图片,没有压缩包。我下载leshe的时候,所有的图片都保存在一个文件夹,也没有分类,没有命名,请问老哥怎么办
有人能试着用speedpan分享一下吗,这软件可以分享部分和谐资源
博主您好,原链接都已失效,请问按这个方法依然能爬到吗?能不能重新发一下资源呢?等您的好消息。。。。。
请问是否还有压缩包资源?想要存一份,方便发一下吗? 目前我只知道一个微力同步可以隐私分享文件,可以分享一下吗? 微力官网:http://www.verysync.com
压缩包已经重新上传,在文章的末尾,抓紧下载哦,防止又被举报了(:з」∠)
百度云链接谁在分享一下呗
压缩包已经重新上传,在文章的末尾,抓紧下载哦,防止又被举报了(:з」∠)
tuwan的这个图下载下来是几十K的,不是原图吧
是的,应该是压缩过的
用IDEA运行的时候一直没成功,仔细看了下有三行红色的地方,请问是什么原因
ERROR 12716 --- [ restartedMain] com.zaxxer.hikari.pool.HikariPool : HikariPool-1 - Exception during pool initialization. ERROR 12716 --- [ restartedMain] com.zaxxer.hikari.pool.HikariPool : HikariPool-1 - Exception during pool initialization. ERROR 12716 --- [ restartedMain] o.s.boot.SpringApplication : Application run failed
可能是mysql数据库配置有误
有人能试着用speedpan分享一下吗,这软件可以分享部分和谐资源
压缩包已经重新上传,在文章的末尾,抓紧下载哦,防止又被举报了(:з」∠)
有人能试着用speedpan分享一下吗,这软件可以分享部分和谐资源
压缩包已经重新上传,在文章的末尾,抓紧下载哦,防止又被举报了(:з」∠)
接口似乎更换加密方式了,博主还会更新爬虫吗?
之前在网上看到了直接用python爬取 import json import re import requests from requests.exceptions import RequestException from urllib.parse import urlencode from urllib.parse import unquote from multiprocessing import Pool import os from hashlib import md5 def get_page(offset): key={ 'type':'image', 'dpr':3, 'id':offset, } url = 'https://api.tuwan.com/apps/Welfare/detail?' + urlencode(key) try: response = requests.get(url) if response.status_code == 200: return response.text return None except RequestException: print("请求页出错", url) return None def getUrl(html):
pattern1 = re.compile('"thumb":(.*?)}', re.S)
result = re.findall(pattern1, html)
bigUrl=result[0]
bigUrl=bigUrl.replace('"','').replace('\\','')
pattern2 = re.compile('(http.*?.+jpg),', re.S)
result2 = re.findall(pattern2, bigUrl)
bigUrl=result2[0]
pattern3 = re.compile('(http.*?==.*?\.jpg)', re.S)
result3=re.findall(pattern3,result[3])
smallUrl = []
for item in result3:
# print(item.replace('\\',''))
smallUrl.append(item.replace('\\',''))
return (bigUrl,smallUrl)
def findReplaceStr(url): pattern = re.compile('.?thumb/jpg/+(.?wx+)(.?)(/u/.?).jpg', re.S) result = re.match(pattern, url) return result.group(2)
def getBigImageUrl(url,replaceStr): pattern = re.compile('.?thumb/jpg/+(.?wx+)(.?)(/u/.?).jpg', re.S) result = re.match(pattern, url) newurl='http://img4.tuwandata.com/v3/thumb/jpg/'+result.group(1)+replaceStr+ result.group(3) return newurl def save_image(content,offset): path='{0}'.format(os.getcwd()+'\image\'+str(offset)) file_path='{0}{1}.{2}'.format(path,md5(content).hexdigest(), 'jpg')
if not os.path.exists(path):
os.mkdir(path)
if not os.path.exists(file_path):
with open(file_path,'wb') as f:
f.write(content)
f.close()
def download_images(url,offset): print('downloading:',url) try: response = requests.get(url) if response.status_code == 200: save_image(response.content,offset) return None except RequestException: print("请求图片出错",url) return None
def download(bigImageUrl,smallImageUrl,offset): replaceStr = findReplaceStr(bigImageUrl) for url in smallImageUrl: download_images(getBigImageUrl(url,replaceStr),offset)
def main(offset): try: html = get_page(offset) urls = getUrl(html) download(urls[0], urls[1], offset) return None except Exception: print("地址出错:",offset) return None
if name == 'main': groups = [x for x in range(1,3000)] pool = Pool() pool.map(main,groups)
Thank you very much for your blog sir. Do you have plan (baidu) on id 1400+ to ~ 1700? 1 ~ 2 month ago i could run your python but now i can not >"<. It is hard for me to run the code because i don't any thing about python or sql. Waiting for you sir.
非常好的爬虫案例, 感谢博主, 我想问一下博主用了多久开始爬数据的, 就是这一套代码写了多长时间
我刚才用同样的方法去调他们的接口,现在他们返回参数里的url没有值,应该是发现了自己的这个漏洞
我刚才用同样的方法去调他们的接口,现在他们返回参数里的url没有值,应该是发现了自己的这个漏洞
写代码倒是没有用很久,下载倒是用了蛮长时间。 接口漏洞很早之前就被补上了,直接下载ZIP的方法已经失效,还好有全站拖下来。(:з」∠)
非常好的爬虫案例, 感谢博主, 我想问一下博主用了多久开始爬数据的, 就是这一套代码写了多长时间
第一版本的代码写完大约花了1小时不到吧,下载用了十几个小时......
我刚才充钱买了图包,发现同样的图片,我改成https协议就可以访问全图,但是好像还校验账号
我上一句说错了, 和协议没关系, 他们现在在访问apps/Welfare/detail的时候返回的图片是缩略图, 但是如果购买了图片, 后台就会把全图的地址也返回, 变机灵了
老哥,你这网站在手机上打开有bug,不知道怎么分析
感谢分享! 我好像也有类似经历。。我发现 https://www.leshe.us 这个网站也是可以爬的,比如图包标题是 轻兰映画 SPL.013 [70P416M] 下载链接就是 http://111.231.221.217:34567/A:/轻兰映画/轻兰映画 SPL.013.zip 。这个链接不用验证就可以下载的,不过我小水管带宽下不动很痛苦。。。博主可以去试试。
最近发现leshe网上的资源不是一手的,加了水印,并且导致图片文件大小变大了50%以上。
http://blog.hytcshare.com/post/tuwan-spider.html