search

ccloli / E-Hentai-Downloader

Download E-Hentai archive as zip file
GNU General Public License v3.0
1.84k stars 138 forks source link

如何防止過度下載然後被EX站Ban IP？ #178

Closed azeinhantai closed 3 years ago

azeinhantai commented 3 years ago

我昨天同時開兩個網頁下載，設定延遲1秒同時下載5張 結果下載不到10張就突然不能連進EX了

後來自己檢查發現E站可以連網，但是論壇不行，EX也不行 後來試著VPN跳板發現EX可以正常連網

這應該是IP被封鎖沒錯吧

ccloli commented 3 years ago

理論上來說這個設定應該不會被 ban，無法進入的情況是什麼？如果是 IP 或者帳號被 ban 或者超出配額是會有文字或者圖片提示的。看你的描述，如果是連網站都無法進入的情況，有可能是 ISP 干擾流量或防火牆規則限制導致無法連接（例如部分地區或者類似學校之類的機構會屏蔽特定的網站），如果如此的話那就應該和腳本沒什麼關係了。如果現在依然會遇到這樣的情況，可以嘗試減少並行下載數量，或者試試看其他的工具。

azeinhantai commented 3 years ago

理論上來說這個設定應該不會被 ban，無法進入的情況是什麼？如果是 IP 或者帳號被 ban 或者超出配額是會有文字或者圖片提示的。看你的描述，如果是連網站都無法進入的情況，有可能是 ISP 干擾流量或防火牆規則限制導致無法連接（例如部分地區或者類似學校之類的機構會屏蔽特定的網站），如果如此的話那就應該和腳本沒什麼關係了。如果現在依然會遇到這樣的情況，可以嘗試減少並行下載數量，或者試試看其他的工具。

恩，謝謝回復 我一直都是在自己家裡上EX下載，只是那天開網頁就很異常， 是從開下載器後沒多久就無法連線，不管怎麼開都是拒絕連線，開VPN就不會 試了一個多小時網頁才恢復正常

因為我本來是一次開三個網頁同時下載5張，我自己是很怕被抓所以最近才改開兩個網頁載5長延遲1秒 現在是改成開三個網頁各下載5張，然後延遲3秒

cmcmcmcm2 commented 3 years ago

理論上來說這個設定應該不會被 ban，無法進入的情況是什麼？如果是 IP 或者帳號被 ban 或者超出配額是會有文字或者圖片提示的。看你的描述，如果是連網站都無法進入的情況，有可能是 ISP 干擾流量或防火牆規則限制導致無法連接（例如部分地區或者類似學校之類的機構會屏蔽特定的網站），如果如此的話那就應該和腳本沒什麼關係了。如果現在依然會遇到這樣的情況，可以嘗試減少並行下載數量，或者試試看其他的工具。

借串問一下 最近也不時莫名被BAN 像是"Your IP address has been temporarily banned for excessive pageloads which indicates that you are using automated mirroring/harvesting software. The ban expires in 2 days and 16 hours"

我的習慣是會把想看的一次點開 然後利用大大的腳本載 之前這樣都沒問題 近一兩個月開始被BAN 我的下載策略是 小的本子不用壓縮大小的就是用腳本 大一點的需要壓縮就用免費額度配合IDM 用站內原生壓縮下載 我以為是腳本1.33版本的關係 還是說現在這習慣要改了(之前都沒問題QQ) 有請大大解答 感恩 ISP是中華電信300M個人申請固定IP

ccloli commented 3 years ago

我以為是腳本1.33版本的關係

1.33 沒有變更下載行為，只是優化了保存 zip 文件到本地的處理方式，以及優化了內存佔用而已，所以應該與版本無關

個人申請固定IP

如果是固定 IP，且該 IP 不是和他人共用的話，那應該可以排除共用 IP 同時訪問 E-Hentai 的情況了，除非住家裏有其他人也在訪問

我的習慣是會把想看的一次點開 然後利用大大的腳本載

是否是指同時下載了多個 gallery？如果是的話，可能這是原因之一，腳本指定的同時下載數是限制單個 gallery 的。如果是多個 gallery 同時下載，那最壞情況下同時請求數會變成 gallery 數 × 腳本指定的線程數

按照我之前爬 E-Hentai 的經歷，印象中限制閾值彈性應該挺大的，輪詢 + 延遲 1 秒爬 torrent 頁可能爬了近半個小時才提示 ip ban，而且初次被 ban 應該只限制 10 分鐘，之後才是 1 小時還是 1 天來著。而且目前在用的 IP 也會定時爬 EH 的數據，但目前下載也沒遇到過 ip 被 ban 的情況

如果下載單個 gallery 仍有這種情況，請考慮設置 Delay ___ second(s) before requesting next image 增加延遲，並盡可能避免長時間同時下載多個 gallery

cmcmcmcm2 commented 3 years ago

是的 就是多開本本 然後再放著讓它慢慢下載 至於設置"Delay ___ second(s) before requesting next image"是直接從網頁進去點腳本相關選項設置嘛?(現在被B好像沒辦法設定) 我解BAN後再嘗試 感謝解答

ccloli commented 3 years ago

是的 就是多開本本 然後再放著讓它慢慢下載

那多半是這個原因了，可能是某個時刻瞬時請求過多，然後被限流了

至於其他的建議包括：

  1. 如果 gallery 有人上傳了 torrent，可以考慮使用 torrent 下載，這樣速度可能更可靠。使用私有 torrent 下載後做種還會有一定收益，如果使用不建議的 BitTorrent 下載工具，也有 Redistributable Torrent
  2. EH 有官方的打包下載工具（或者用 H@H 下載），不過需要支付 GP 或者 Credit。如果你玩 HentaiVerse 的話，當你打到了 Lv.100，清清每日訓練場應該能得到至少 8k 左右的 credit，GP Exchange 里均價應該是 473 credit / kGP，大約可以下載 500MB 的內容，然後你就會沉迷在 HV 裏撿裝備
  3. 如果你的 IP 可以更換，或者使用 VPN，可以通過更換 IP 或者走代理訪問來繞過限制
cmcmcmcm2 commented 3 years ago

了解 感謝建議和協助 之後再嘗試看看 有任何問題會再回報 辛苦了