search

KurtBestor / Hitomi-Downloader

:cake: Desktop utility to download images/videos/music/text from various websites, and more.
20.96k stars 1.96k forks source link

트위터가 페이지가 많은건 다운을 못합니다. #3392

Open 213ha opened 3 years ago

213ha commented 3 years ago

Invalid: [twitter] https://twitter.com/animatenara

version: 3.3b (21-04-27 04:32:29 UTC) platform / locale: Windows-10-10.0.18362-SP0 / ko order / group / uid: 193 / False / eb17f7fce2854b25a5efd7603d961f3a input: https://twitter.com/animatenara type: twitter single: False url: https://twitter.com/animatenara dir: zip: artist: アニメイト奈良＠アニメイトアプリご利用で１Pプレゼント！ valid / done: False / True range / range_p: ~100000 / None time: 1620952878.557483 (May 14) tags: [] lock: False color: invalid paused: False format: None p2f: None segment: None goodbyedpi: True ytdl: 2021.04.26 pinned: False extras: {} changed: True

[Gallery] None

[File Names]

[URLs]

[Messages] multiple tweets [{'message': 'Rate limit exceeded', 'code': 88}] stop Traceback (most recent call last): File "utils", line 1079, in start File "utils", line 1130, in start_ File "extractor\twitter_downloader", line 107, in read File "extractor\twitter_downloader", line 347, in get_imgs File "extractor\twitter_downloader", line 255, in _pagination File "extractor\twitter_downloader", line 245, in _pagination Exception: [{'message': 'Rate limit exceeded', 'code': 88}]

Invalid: fail=True EOT: https://twitter.com/animatenara (118.0s)

로그 기록입니다

KurtBestor commented 3 years ago

테스트 부탁드려요: https://github.com/KurtBestor/Hitomi-Downloader/releases/tag/Technical-Preview

213ha commented 3 years ago

주신 버전으로 한개의 트위터를 테스트 삼아해봤습니다,

https://twitter.com/fanza_2020

해당 트위터의 주소고요. 다운을 받았는데 976장밖에 다운이 되지 않습니다.

5월 15일까지의 미디어만 다운받아지는데, 트위터 미디어 날짜검색을 하면 5월 15일 이전에도 미디어 파일이 있는것을 확인 하실수 있으실겁니다.

그럼에도 5월 15일까지의 미디어만 다운이 받아집니다.

이런 현상은 왜 발생하는 건가요

KurtBestor commented 3 years ago

테스트 부탁드려요: https://github.com/KurtBestor/Hitomi-Downloader/releases/tag/Technical-Preview

213ha commented 3 years ago

방금 다운로드 받아서 같은 트위터 주소를 실행해봣습니다 10816장이 다운됐습니다. 미디어파일을 전부 읽어서 다운받은것 같지않습니다.

다운 받아진 날짜는 2021년 3월까지네요. 트위터 검색하면 이전 날짜에 있는 미디어 트윗들이 엄청많은것을 생각하면 조금만 다운이 받아집니다.

로그기록을 드리려고 햇으나 너무 길어서 메모장에 복붙해서 첨부햇습니다. 트위터.txt

KurtBestor commented 3 years ago

테스트 부탁드려요: https://github.com/KurtBestor/Hitomi-Downloader/releases/tag/Technical-Preview

213ha commented 3 years ago

이번에는 해당 트위터 생성된이후부터 지금까지 전부 다운로드를 햇습니다만, 수동적으로 트위터 들어가서 검색하다보면, 다운로드 하면서 빠진것들이 있습니다.

https://twitter.com/search?q=until%3A2017-03-21%20since%3A2017-03-18%20(from%3Afanza_2020)&src=typed_query&f=live

트위터 기간으로 검색한것이고요. 저기 나온 검색결과중에 빠진 트윗들입니다 https://twitter.com/fanza_2020/status/843098223304622082 https://twitter.com/fanza_2020/status/843056892909928448 https://twitter.com/fanza_2020/status/842994732208967686 https://twitter.com/fanza_2020/status/842903631753965569

다운받다보면 군데군데빠지는것들이 몇군데 보입니다.

바쁘신 와중에 죄송하지만, 해당 문제점도 해결해주시면 감사하겟습니다.

작업정보를 복붙하려햇으나, 텍스트가 많아서 txt파일로 첨부햇습니다. 트위터.txt

213ha commented 3 years ago

또한 다른 트위터 주소를 테스트 버전에 다운해봣는데

374개의 트위터 주소중에 240개의 트위터 주소가 다운로드 안됐습니다.

대표적인 걸로 한 작업정보를 메모장에 담았습니다. 트위터.txt

KurtBestor commented 3 years ago

존재하지 않는 계정이네요

213ha commented 3 years ago

제가 다른 txt파일을 실수로드린것 같네요. 유효한 주소로 다시 첨부햇습니다 트위터.txt

KurtBestor commented 3 years ago

다시 시도해도 안 되나요?

213ha commented 3 years ago

txt파일드린게 2번째로 다시해본거인데, 이러내요

KurtBestor commented 3 years ago

아뇨, 지금 다시 시도해도 안 되나요?

213ha commented 3 years ago

껏다켜서 다시하니까 되네요