7325156 / jjwxcNovelCrawler

使用python3爬虫下载晋江小说(可下载VIP章节,app源下载)【此项目仅供学习交流使用,严禁用于商业用途,请在24小时之内删除。】
283 stars 48 forks source link

众筹字体反爬虫文件(2021/2/6新开) #8

Closed 7325156 closed 2 years ago

7325156 commented 3 years ago

之前的楼太高了,所以新开一楼 晋江使用的是字体反爬虫,如果出现什么新的字体没有列出来,可以在这里输入章节网址,或者直接传一个字体文件(把文件拖拽到输入框即可)。 如何更快地完成对照表 目前已有字体文件: jjwxcfont_0004v jjwxcfont_00070 jjwxcfont_00091 jjwxcfont_000bl jjwxcfont_000dz jjwxcfont_000ib jjwxcfont_000m4 jjwxcfont_000mn jjwxcfont_000qt jjwxcfont_000t5 jjwxcfont_000wi jjwxcfont_000xw jjwxcfont_0012a jjwxcfont_00147 jjwxcfont_0015q jjwxcfont_001ac jjwxcfont_001d3 jjwxcfont_001fl jjwxcfont_001i5 jjwxcfont_001ks jjwxcfont_001n4 jjwxcfont_001qb jjwxcfont_001u8 jjwxcfont_001wb jjwxcfont_001yu jjwxcfont_00210 jjwxcfont_0023v jjwxcfont_0026b jjwxcfont_00294 jjwxcfont_002e2 jjwxcfont_002em jjwxcfont_002h0 jjwxcfont_002kt jjwxcfont_002nb jjwxcfont_002pr jjwxcfont_002ue jjwxcfont_002vc jjwxcfont_002zh jjwxcfont_00317 jjwxcfont_00355 jjwxcfont_0038d jjwxcfont_003am jjwxcfont_003ce jjwxcfont_003fx jjwxcfont_003jp jjwxcfont_003kl jjwxcfont_003o0 jjwxcfont_003s0 jjwxcfont_003tk jjwxcfont_003wv jjwxcfont_003zu jjwxcfont_0041e jjwxcfont_0043t jjwxcfont_00484 jjwxcfont_0049b jjwxcfont_004di jjwxcfont_004gl jjwxcfont_004hu jjwxcfont_004kc jjwxcfont_004np jjwxcfont_004q9 jjwxcfont_004t9 jjwxcfont_004v9 jjwxcfont_004z1 jjwxcfont_0052c jjwxcfont_0055y jjwxcfont_0057c jjwxcfont_005aa jjwxcfont_005dc jjwxcfont_005gr jjwxcfont_005jc jjwxcfont_005ml jjwxcfont_005nm jjwxcfont_005s0 jjwxcfont_005u3 jjwxcfont_005xn jjwxcfont_005yg jjwxcfont_0063d jjwxcfont_0065q jjwxcfont_0067u jjwxcfont_006as jjwxcfont_006dp jjwxcfont_006ge jjwxcfont_006jq jjwxcfont_006l4 jjwxcfont_006p4 jjwxcfont_006s5 jjwxcfont_006uw jjwxcfont_006x3 jjwxcfont_006yy jjwxcfont_00725 jjwxcfont_0073m jjwxcfont_0078d jjwxcfont_007ax jjwxcfont_007cx jjwxcfont_007f3 jjwxcfont_007ib jjwxcfont_007kc jjwxcfont_007p4 jjwxcfont_007qa jjwxcfont_007tj jjwxcfont_007x1 jjwxcfont_007yi jjwxcfont_0082v jjwxcfont_00844 jjwxcfont_0088f jjwxcfont_008ab jjwxcfont_008g9(来自 @8starcrystal8)

众筹反爬虫对照表,已全部完成,感谢以下肝帝大佬的贡献和支持: jjwxcfont_0004v jjwxcfont_00070 jjwxcfont_00091 jjwxcfont_000bl jjwxcfont_000dz jjwxcfont_000ib jjwxcfont_000m4 jjwxcfont_000mn jjwxcfont_000qt jjwxcfont_000t5 jjwxcfont_000wi jjwxcfont_000xw jjwxcfont_0012a jjwxcfont_00147 jjwxcfont_0015q jjwxcfont_001ac jjwxcfont_001d3 jjwxcfont_001fl jjwxcfont_001i5 jjwxcfont_001ks jjwxcfont_001n4 jjwxcfont_001qb jjwxcfont_001u8 jjwxcfont_001wb jjwxcfont_001yu jjwxcfont_002e2 jjwxcfont_003fx jjwxcfont_003jp jjwxcfont_003kl jjwxcfont_003o0 jjwxcfont_003s0 jjwxcfont_0067u jjwxcfont_006as( @8starcrystal8完成) jjwxcfont_007tj jjwxcfont_007x1 jjwxcfont_007yi jjwxcfont_0082v jjwxcfont_00844 jjwxcfont_0088f jjwxcfont_008ab jjwxcfont_008g9 jjwxcfont_007ax jjwxcfont_007cx jjwxcfont_007f3 jjwxcfont_007ib jjwxcfont_007kc jjwxcfont_007p4 jjwxcfont_007qa( @113000完成) jjwxcfont_002em jjwxcfont_002h0 jjwxcfont_002kt jjwxcfont_002nb jjwxcfont_002pr jjwxcfont_002ue jjwxcfont_002vc jjwxcfont_002zh jjwxcfont_00317 jjwxcfont_00355 jjwxcfont_0038d jjwxcfont_003am jjwxcfont_003ce jjwxcfont_003tk jjwxcfont_003wv jjwxcfont_003zu jjwxcfont_0041e jjwxcfont_0043t jjwxcfont_005gr jjwxcfont_005jc jjwxcfont_005ml jjwxcfont_005nm jjwxcfont_005s0 jjwxcfont_005u3 jjwxcfont_005xn jjwxcfont_005yg jjwxcfont_0063d jjwxcfont_0065q jjwxcfont_0023v jjwxcfont_0026b jjwxcfont_00210 jjwxcfont_00294( @freesialee完成) jjwxcfont_00484 jjwxcfont_0049b jjwxcfont_004di jjwxcfont_004gl jjwxcfont_004hu jjwxcfont_004kc jjwxcfont_004np jjwxcfont_004q9 jjwxcfont_004t9 jjwxcfont_004v9 jjwxcfont_004z1 jjwxcfont_0052c jjwxcfont_0055y jjwxcfont_0057c jjwxcfont_005aa jjwxcfont_005dc jjwxcfont_006dp jjwxcfont_006ge jjwxcfont_006jq jjwxcfont_006l4 jjwxcfont_006p4 jjwxcfont_006s5 jjwxcfont_006uw jjwxcfont_006x3 jjwxcfont_006yy jjwxcfont_00725 jjwxcfont_0073m jjwxcfont_0078d( @levi330完成)

113000 commented 3 years ago

已完成: jjwxcfont_007tj.txt jjwxcfont_007x1.txt jjwxcfont_007yi.txt jjwxcfont_0082v.txt jjwxcfont_00844.txt jjwxcfont_0088f.txt jjwxcfont_008ab.txt jjwxcfont_008g9.txt

已领:

freesialee commented 3 years ago

已完成: jjwxcfont_002em.txt jjwxcfont_002h0.txt jjwxcfont_002kt.txt jjwxcfont_002nb.txt jjwxcfont_002pr.txt jjwxcfont_002ue.txt jjwxcfont_002vc.txt jjwxcfont_002zh.txt jjwxcfont_003am.txt jjwxcfont_003ce.txt

levi330 commented 3 years ago

已完成 jjwxcfont_00484.txt 领取 jjwxcfont_0049b jjwxcfont_004di jjwxcfont_004gl jjwxcfont_004hu jjwxcfont_004kc

levi330 commented 3 years ago

已完成 jjwxcfont_0049b.txt jjwxcfont_004di.txt jjwxcfont_004gl.txt jjwxcfont_004hu.txt jjwxcfont_004kc.txt 领取 jjwxcfont_004np jjwxcfont_004q9 jjwxcfont_004t9 jjwxcfont_004v9 jjwxcfont_004z1

levi330 commented 3 years ago

已完成 jjwxcfont_004np.txt jjwxcfont_004q9.txt jjwxcfont_004t9.txt jjwxcfont_004v9.txt jjwxcfont_004z1.txt

修改 jjwxcfont_00484 jjwxcfont_00484.txt

领取 jjwxcfont_0052c jjwxcfont_0055y jjwxcfont_0057c jjwxcfont_005aa jjwxcfont_005dc

levi330 commented 3 years ago

完成 jjwxcfont_0052c.txt jjwxcfont_005aa.txt jjwxcfont_005dc.txt jjwxcfont_0057c.txt jjwxcfont_0055y.txt

levi330 commented 3 years ago

趁着没人,提个问哈。请问有盆友用静音天下成功的吗?是不是需要每一章节都换一种字体才能正常观看啊?有木有不用不停更换字体就能在静音天下上观看的方法鸭(:з」∠)

7325156 commented 3 years ago

最新版静读天下->其他选项->勾选“使用书籍内置字体”,取消勾选“禁用CSS”

---原始邮件--- 发件人: "levi330"<notifications@github.com> 发送时间: 2021年2月6日(周六) 晚上8:06 收件人: "7325156/jjwxcNovelCrawler"<jjwxcNovelCrawler@noreply.github.com>; 抄送: "7325156"<1048047680@qq.com>;"Author"<author@noreply.github.com>; 主题: Re: [7325156/jjwxcNovelCrawler] 众筹字体反爬虫文件(2021/2/6新开) (#8)

趁着没人,提个问哈。请问有盆友用静音天下成功的吗?是不是需要每一章节都换一种字体才能正常观看啊?有木有不用不停更换字体就能在静音天下上观看的方法鸭(:з」∠)

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

levi330 commented 3 years ago

最新版静读天下->其他选项->勾选“使用书籍内置字体”,取消勾选“禁用CSS” ---原始邮件--- 发件人: "levi330"<notifications@github.com> 发送时间: 2021年2月6日(周六) 晚上8:06 收件人: "7325156/jjwxcNovelCrawler"<jjwxcNovelCrawler@noreply.github.com>; 抄送: "7325156"<1048047680@qq.com>;"Author"<author@noreply.github.com>; 主题: Re: [7325156/jjwxcNovelCrawler] 众筹字体反爬虫文件(2021/2/6新开) (#8) 趁着没人,提个问哈。请问有盆友用静音天下成功的吗?是不是需要每一章节都换一种字体才能正常观看啊?有木有不用不停更换字体就能在静音天下上观看的方法鸭(:з」∠) — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

最新版静读天下->其他选项->勾选“使用书籍内置字体”,取消勾选“禁用CSS” ---原始邮件--- 发件人: "levi330"<notifications@github.com> 发送时间: 2021年2月6日(周六) 晚上8:06 收件人: "7325156/jjwxcNovelCrawler"<jjwxcNovelCrawler@noreply.github.com>; 抄送: "7325156"<1048047680@qq.com>;"Author"<author@noreply.github.com>; 主题: Re: [7325156/jjwxcNovelCrawler] 众筹字体反爬虫文件(2021/2/6新开) (#8) 趁着没人,提个问哈。请问有盆友用静音天下成功的吗?是不是需要每一章节都换一种字体才能正常观看啊?有木有不用不停更换字体就能在静音天下上观看的方法鸭(:з」∠) — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

呜呜呜,终于好了,谢谢太太!!!爱您

8starcrystal8 commented 3 years ago

已完成: jjwxcfont_001d3.txt jjwxcfont_001fl.txt jjwxcfont_001i5.txt jjwxcfont_001ks.txt jjwxcfont_001n4.txt jjwxcfont_001qb.txt jjwxcfont_001u8.txt jjwxcfont_001wb.txt jjwxcfont_001yu.txt jjwxcfont_002e2.txt ———— jjwxcfont_003fx.txt jjwxcfont_003jp.txt jjwxcfont_003kl.txt jjwxcfont_003o0.txt jjwxcfont_003s0.txt

已领取:

等下再看看有没有时间领取。没有的话就是明天了...

freesialee commented 3 years ago

已完成: jjwxcfont_0038d.txt jjwxcfont_00317.txt jjwxcfont_00355.txt

freesialee commented 3 years ago

已完成

jjwxcfont_003tk.txt jjwxcfont_003wv.txt jjwxcfont_003zu.txt jjwxcfont_0041e.txt jjwxcfont_0043t.txt

jjwxcfont_005gr.txt jjwxcfont_005jc.txt jjwxcfont_005ml.txt jjwxcfont_005nm.txt jjwxcfont_005s0.txt jjwxcfont_005u3.txt jjwxcfont_005xn.txt jjwxcfont_005yg.txt jjwxcfont_0063d.txt jjwxcfont_0065q.txt

113000 commented 3 years ago

已完成: jjwxcfont_007ax.txt jjwxcfont_007cx.txt jjwxcfont_007f3.txt jjwxcfont_007ib.txt jjwxcfont_007kc.txt jjwxcfont_007p4.txt jjwxcfont_007qa.txt

已领取:

不知道是不是昨天用鼠标多,今天比昨天做得慢啊

8starcrystal8 commented 3 years ago

已完成: jjwxcfont_0067u.txt jjwxcfont_006as.txt

已领取:

levi330 commented 3 years ago

领取 jjwxcfont_006dp jjwxcfont_006ge jjwxcfont_006jq jjwxcfont_006l4 jjwxcfont_006p4 jjwxcfont_006s5 jjwxcfont_006uw jjwxcfont_006x3 jjwxcfont_006yy

levi330 commented 3 years ago

已完成: jjwxcfont_006dp.txt jjwxcfont_006ge.txt jjwxcfont_006jq.txt jjwxcfont_006l4.txt jjwxcfont_006p4.txt jjwxcfont_006s5.txt jjwxcfont_006uw.txt jjwxcfont_006x3.txt jjwxcfont_006yy.txt 领取 jjwxcfont_00725 jjwxcfont_0073m jjwxcfont_0078d

levi330 commented 3 years ago

已完成 jjwxcfont_0078d.txt jjwxcfont_0073m.txt jjwxcfont_00725.txt

freesialee commented 3 years ago

已完成 jjwxcfont_0023v.txt jjwxcfont_0026b.txt jjwxcfont_00210.txt jjwxcfont_00294.txt

Hooray!!!是不是都领完了

freesialee commented 3 years ago

尝试着把新的对照表放进去fonts文件夹运行了一下发现会报错,大大上来了麻烦运行一下看是哪部分出了问题吧orz

Traceback (most recent call last): File "g:\jjwxcNovelCrawler-master\main_txt.py", line 436, in c.get_txt(num,state,50) File "g:\jjwxcNovelCrawler-master\main_txt.py", line 411, in get_txt shutil.rmtree(ppp) File "C:\Users\AppData\Local\Programs\Python\Python38\lib\shutil.py", line 737, in rmtree return _rmtree_unsafe(path, onerror) File "C:\Users\AppData\Local\Programs\Python\Python38\lib\shutil.py", line 615, in _rmtree_unsafe
onerror(os.unlink, fullname, sys.exc_info()) File "C:\Users\AppData\Local\Programs\Python\Python38\lib\shutil.py", line 613, in _rmtree_unsafe
os.unlink(fullname) PermissionError: [WinError 32] 另一个程序正在使用此文件,进程无法访问。: 'G:\jjwxcNovelCrawler-master\书名_txt\z0025.txt' ←这个就是VIP部分的第一章

levi330 commented 3 years ago

修改 jjwxcfont_0049b.txt jjwxcfont_004di.txt jjwxcfont_004q9.txt jjwxcfont_004v9.txt jjwxcfont_004z1.txt jjwxcfont_0052c.txt jjwxcfont_0055y.txt

7325156 commented 3 years ago

尝试着把新的对照表放进去fonts文件夹运行了一下发现会报错,大大上来了麻烦运行一下看是哪部分出了问题吧orz

Traceback (most recent call last): File "g:\jjwxcNovelCrawler-master\main_txt.py", line 436, in c.get_txt(num,state,50) File "g:\jjwxcNovelCrawler-master\main_txt.py", line 411, in get_txt shutil.rmtree(ppp) File "C:\Users\AppData\Local\Programs\Python\Python38\lib\shutil.py", line 737, in rmtree return _rmtree_unsafe(path, onerror) File "C:\Users\AppData\Local\Programs\Python\Python38\lib\shutil.py", line 615, in _rmtree_unsafe onerror(os.unlink, fullname, sys.exc_info()) File "C:\Users\AppData\Local\Programs\Python\Python38\lib\shutil.py", line 613, in _rmtree_unsafe os.unlink(fullname) PermissionError: [WinError 32] 另一个程序正在使用此文件,进程无法访问。: 'G:\jjwxcNovelCrawler-master\书名_txt\z0025.txt' ←这个就是VIP部分的第一章

应该是表的问题,我导入表的时候不小心把0x78混进去了。

freesialee commented 3 years ago

尝试着把新的对照表放进去fonts文件夹运行了一下发现会报错,大大上来了麻烦运行一下看是哪部分出了问题吧orz Traceback (most recent call last): File "g:\jjwxcNovelCrawler-master\main_txt.py", line 436, in c.get_txt(num,state,50) File "g:\jjwxcNovelCrawler-master\main_txt.py", line 411, in get_txt shutil.rmtree(ppp) File "C:\Users\AppData\Local\Programs\Python\Python38\lib\shutil.py", line 737, in rmtree return _rmtree_unsafe(path, onerror) File "C:\Users\AppData\Local\Programs\Python\Python38\lib\shutil.py", line 615, in _rmtree_unsafe onerror(os.unlink, fullname, sys.exc_info()) File "C:\Users\AppData\Local\Programs\Python\Python38\lib\shutil.py", line 613, in _rmtree_unsafe os.unlink(fullname) PermissionError: [WinError 32] 另一个程序正在使用此文件,进程无法访问。: 'G:\jjwxcNovelCrawler-master\书名_txt\z0025.txt' ←这个就是VIP部分的第一章

应该是表的问题,我导入表的时候不小心把0x78混进去了。

我好像没有搜到有这个对照表,然后重新下载整个zip也是一样的——不放对照表进去的时候是可以下载,但是放进去就不行了

7325156 commented 3 years ago

晋江反爬虫多了点新花样,我正在研究中。现在反爬虫文件里混进去几个GB2312编码的,导致文件打不开,尝试转换编码中…… @freesialee

8starcrystal8 commented 3 years ago

非常感谢大大。

我的也是:

Traceback (most recent call last): File "G:\jjwxcNovelCrawler-master (10)\jjwxcNovelCrawler-master\main_txt 2.py", line 449, in c.get_txt(num,state,50) File "G:\jjwxcNovelCrawler-master (10)\jjwxcNovelCrawler-master\main_txt 2.py", line 424, in get_txt shutil.rmtree(ppp) File "C:\Users\AppData\Local\Programs\Python\Python39\lib\shutil.py", line 740, in rmtree return _rmtree_unsafe(path, onerror) File "C:\Users\AppData\Local\Programs\Python\Python39\lib\shutil.py", line 618, in _rmtree_unsafe onerror(os.unlink, fullname, sys.exc_info()) File "C:\Users\AppData\Local\Programs\Python\Python39\lib\shutil.py", line 616, in _rmtree_unsafe os.unlink(fullname) PermissionError: [WinError 32] 另一个程序正在使用此文件,进程无法访问。: 'G:\jjwxcNovelCrawler-master (10)\jjwxcNovelCrawler-master\Some_txt\z0070.txt'

Process finished with exit code 1

而且有些章抓下来了,可是明明有对照表的txt,却发现章节还是出现乱码/空格。

如以下: 他坐在椅子上,抬着头, 专注的看着大屏幕,一阵,分数出来了。 自由滑得分是182.82,加上短节目的91.33, 合计274.15,仅次于瓦西里的275.5。 该怎么说呢,瓦西里同样clean节目, 而且他的表现力不差, 最重要的是, 张珏这次自由滑的所有跳跃几乎都是歪轴,没摔靠的是运气和他那种不要膝盖的落冰方式, 在评分中,其实轴心正的跳跃肯定是评价更高的。

所使用对照表应该是008ab,可却还是无法替换出来。【发现有对照表为什么并没替换了,是因为对照表是ANSI的,不是UTF-8的。把对照表编码转换成utf-8就行了。当然,这并未解决上面的z0070.txt不能下问题...】

7325156 commented 3 years ago

00484表还有问题(我也不知道哪里有问题),pyinstaller还是无法生成exe,先这样吧 @8starcrystal8 @freesialee

8starcrystal8 commented 3 years ago

00484表还有问题(我也不知道哪里有问题),pyinstaller还是无法生成exe,先这样吧 @8starcrystal8 @freesialee

懂了。00484有个字发现缺了个‘-’(本来应该是‘;-’的),可能是不小心被删了。另附其他粗略查过字的其他字表(全在zip里)。有错别字的话应该都改了(除非我漏掉了)。 FontsTXT.zip

7325156 commented 3 years ago

00484表还有问题(我也不知道哪里有问题),pyinstaller还是无法生成exe,先这样吧 @8starcrystal8 @freesialee

懂了。00484有个字发现缺了个‘-’(本来应该是‘;-’的),可能是被不小心删了。另附其他粗略查过字的其他字表(全在zip里)。有错别字的话应该都改了(除非我漏掉了)。 FontsTXT.zip

007yi是ascll编码,我把它调过来了。(不介意我把它发布到项目里吧?)

8starcrystal8 commented 3 years ago

00484表还有问题(我也不知道哪里有问题),pyinstaller还是无法生成exe,先这样吧 @8starcrystal8 @freesialee

懂了。00484有个字发现缺了个‘-’(本来应该是‘;-’的),可能是被不小心删了。另附其他粗略查过字的其他字表(全在zip里)。有错别字的话应该都改了(除非我漏掉了)。 FontsTXT.zip

007yi是ascll编码,我把它调过来了。(不介意我把它发布到项目里吧?)

不介意。谢谢帮改编码。

rduwjjnh commented 3 years ago

懂了。00484有个字发现缺了个‘-’(本来应该是‘;-’的),可能是不小心被删了。另附其他粗略查过字的其他字表(全在zip里)。有错别字的话应该都改了(除非我漏掉了)。 FontsTXT.zip

Fixed a couple more mistakes: jjwxcfont_007yi.txt > UTF-8 囗x21 > 口 活x2 > 话 jjwxcfont_007qa.txt \-么 > 会 jjwxcfont_004di.txt \-看 > 着 jjwxcfont_004q9.txt \-看 > 着

FontsTXT.zip

8starcrystal8 commented 3 years ago

懂了。00484有个字发现缺了个‘-’(本来应该是‘;-’的),可能是不小心被删了。另附其他粗略查过字的其他字表(全在zip里)。有错别字的话应该都改了(除非我漏掉了)。 FontsTXT.zip

Fixed a couple more mistakes: jjwxcfont_007yi.txt > UTF-8 囗x21 > 口 活x2 > 话 jjwxcfont_007qa.txt -么 > 会 jjwxcfont_004di.txt -看 > 着 jjwxcfont_004q9.txt -看 > 着

FontsTXT.zip

谢谢对校! 已下载!