search

KurtBestor / Hitomi-Downloader

:cake: Desktop utility to download images/videos/music/text from various websites, and more.
22.26k stars 2.05k forks source link

[건의] Sankaku Complex 크롤링 오류 해결방법 #2994

Open asdf916 opened 3 years ago

asdf916 commented 3 years ago

안녕하세요 선생님. 저는 Sankaku Complex에서 이미지를 다운로드 할 때, 정상적으로 태스크가 완료되지 않는 문제가 있어 여태 적지 않은 양의 이슈가 작성된 것을 보았읍니다. 따라서 원인과 해결방법을 말씀드리고자 이 글을 작성합니다.

문제의 원인은 Sankaku Complex 홈페이지가 비로그인 상태에서 게시물들을 블라인드 처리하기 시작한 것이며, 로그인만 하면 유료회원이 아니더라도 모든 이미지에 접속할 수 있습니다.

따라서 현재 히토미 다운로더 어플 설정의 Pixiv 설정탭과 같이, Sankaku Complex의 로그인 설정탭을 추가해주시면은 앞으로 이 문제에 대해 말이 나올 일은 없을 것 같읍니다.

항상 고맙읍니다 개발자 선생님...

KurtBestor commented 3 years ago

로그인 쿠키 넣으면 돼요

Annihilator4413 commented 3 years ago

I think the issue is actually to do with Hitomi crawling through Sankaku too fast and getting hit with a 429 error, which limits access to the site for a short while, but for Hitomi it causes it to stop its crawl for images and starts downloading immediately instead. So we need a way to limit Hitomis crawl speed since it seems to trigger the 429 error.

Unless you're talking about something completely different. If that's the case, sorry for my rambling.