usaginya / MoeLoader-Delta

Improved branching version of MoeLoader
GNU General Public License v3.0
242 stars 35 forks source link

建议增加导出txt格式列表功能 #34

Open operav opened 6 years ago

operav commented 6 years ago

迅雷有最大任务数限制,而IDM没有这个限制?反正比迅雷任务数上限要高出很多。 现在导出的列表文件直接改成txt,比如danboboru站,导出的地址会有奇怪的小尾巴,不能直接导入IDM使用。

MoeACGN commented 6 years ago

隨手寫了個簡易的轉換 有特殊需求的話再自己改改吧 MoeLoaderListConvert

operav commented 6 years ago

没想到这么快就有回应!感谢!有机会试下! 怪我鲁莽了,我仔细研究了下,发现软件导出的列表数量,根本不可能超过迅雷现有的任务数量限制😭 以danboboru为例,虽然可以设置成每页数量600p,但现在每页其实最多只能获得200p。 @usaginya 是我设置有问题吗? 希望以后能改进一下获取列表的功能,我主要是用MoeLoader-Delta爬下载地址,方便导入第三方工具下载。如果输入地址后不需要手动翻页,能直接爬完全部下载地址,导出的列表可以自由选择两种格式就完美了。 愿MoeLoader-Delta的功能早日变得更加完善!

usaginya commented 6 years ago

有些站点有硬限制的、不会完全给你600页的数据、那样的话服务器负担比较大

operav commented 6 years ago

我以前用OX163可以完整的跑完danbooru某tag或某tag和某tag的的列表数据,现在那个软件和脚本已经很久都没人维护了,出现了影响使用的大大小小的问题。 欸……正当我眉头紧锁时,找到了MoeLoader。😄 是两个软件获取图片下载地址的方式不一样的原因吗?有没有可能是MoeLoader略缩图预览模式会导致加大图站服务器压力,触动自动xx之类?所以需要进行每页预览数量限制?可以借鉴下OX163的脚本试试? @usaginya

usaginya commented 6 years ago

@operammm 伙计、MoeLoader的定位和OX163那些早期软件不同。早期的抓图软件曾出现对一些图库站点造成影响、导致一些站点暂停服务、引发一些不必要的争论 就MoeLoader来说、目前的处理方式还是存在对站点服务器有一定负担影响、但相对于暴力扒图软件已经有些保守了。可能你或者其他人觉得“全世界抓图软件不止这一个,即使少了这个搜图软件也不会帮助服务器减轻多少负担”、就算这是事实、服务器也是会有不堪重负的一天 服务器的流量和能耗都需要资金、对于比较大的图站应该是能胜任、但对于比较贫乏的图站、持续大量的原图下载所造成的负担、是很有危害性的 之所以MoeLoader有比较完善的预览功能、就是为了给用户搜索选择自己想要保存的图片。当然、如果保存一些图片比较多的图集也是可以的、这和保存含有某个标签的所有图片性质上有些差别。因为有些比较通用的标签会有大量结果、如果一次性保存所有的搜索结果、就会对服务器造成一定影响。因此也就要对这种影响做一定的基本限制、来减少没有搜索结果限制的站点一些负担、所以不会一次搜索出所有的结果。 简单的说MoeLoader是一种搜索图片和保存的软件、而不是一种图片爬虫软件。 如果是爬虫软件的定位、那就没有必要做预览和选择的功能了、直接三个“站点选择”、“标签输入”、“获取页数范围中的图片链接列表”的功能岂不是更简单方便吗:wink:

operav commented 6 years ago

@usaginya 早期我对这些爬图软件一样嗤之以鼻…天天手动在yande右键,但自从体验过批量爬图的快感后就停不下来了,不得不向爬图软件屈服,因为实在节省了太多时间了。 通过你的说明,我理解了这款软件的定位。谢谢。🙂