웨이보 일부 유저들의 사진이 다운로드가 되지 않습니다.

ksh082172 commented 6 months ago

웨이보 사진을 효율적으로 다운로드 할 방법을 찾던 중 히토미 다운로더를 알게 되어 잘 사용중이었습니다.

하지만 얼마 전부터 일부 유저들의 사진이 다운로드가 제대로 되지 않습니다.

특히 예전엔 다운로드가 되었었는데 지금은 다운로드가 되지 않는 경우도 있습니다.

화면 캡처 2023-12-27 173730

작업 정보 하나를 첨부합니다.

Invalid: [weibo] https://weibo.com/u/5311941557

version: 4.0+ (23-12-24 07:08:43 UTC) platform / locale: Windows-10-10.0.19045-SP0 / ko_kr order / group / uid: 0 / False / 9b7daf529feb4db386b4d3255228528b input: https://weibo.com/u/5311941557 type: weibo single: False url: https://weibo.com/u/5311941557 dir: zip: artist: None valid / done: False / True range / range_p: None / None time: 1703665836.736538 (23-12-27 08:30:36 UTC) - 672s elapsed tags: [] lock: False color: invalid paused: False format: None p2f: None segment: None admin: True goodbyedpi: False ytdl: yt_dlp 2023.10.07 pinned: False extras: {} live: False changed: True

[File Names]

[URLs]

[Messages] not f uid: 5311941557, oid:5311941557 Expecting value: line 1 column 1 (char 0) stop Traceback (most recent call last): File "utils", line 1376, in start File "utils", line 1455, in start_ File "extractor\weibo_downloader", line 59, in read File "extractor\weibo_downloader", line 173, in getimgs File "decorator", line 232, in fun File "constants", line 909, in try File "constants", line 878, in try_ File "extractor\weibo_downloader", line 160, in get_albums File "json__init__", line 357, in loads File "json\decoder", line 337, in decode File "json\decoder", line 355, in raw_decode json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

Invalid: fail=True EOT: https://weibo.com/u/5311941557 (41.5s)

stop Traceback (most recent call last): File "utils", line 1376, in start File "utils", line 1455, in start_ File "extractor\weibo_downloader", line 56, in read File "extractor\weibo_downloader", line 112, in get_id File "extractor\weibo_downloader", line 101, in get_id extractor.weibo_downloader.LoginRequired

Invalid: fail=False EOT: https://weibo.com/u/5311941557 (9.7s)

not f uid: 5311941557, oid:5311941557 Expecting value: line 1 column 1 (char 0) stop Traceback (most recent call last): File "utils", line 1376, in start File "utils", line 1455, in start_ File "extractor\weibo_downloader", line 59, in read File "extractor\weibo_downloader", line 173, in getimgs File "decorator", line 232, in fun File "constants", line 909, in try File "constants", line 878, in try_ File "extractor\weibo_downloader", line 160, in get_albums File "json__init__", line 357, in loads File "json\decoder", line 337, in decode File "json\decoder", line 355, in raw_decode json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

Invalid: fail=True EOT: https://weibo.com/u/5311941557 (41.5s)

파일을 확인해보면

아예 거부되는 유저의 사진은 폴더도 생성 되지 않고

예전에 다운받았던 유저의 사진은 최근에 업로드 된 사진이 다운로드가 되지 않습니다.

그렇다고 모든 유저가 다운로드 되지 않는 건 아닙니다.

다운로드가 잘 되는 유저는 잘 되고

다운로드가 안 되는 유저는 안 되는 상황입니다.

해결하려고 시도해 본 방법으로는

관리자 권한으로 실행 후 다운로드 시도 - 변화없음
최신 베타 버전 (https://github.com/KurtBestor/Hitomi-Downloader/releases/tag/Technical-Preview)업데이트 후 다운로드 시도 - 변화없음
서브컴퓨터에 설치 후 다운로드 시도 - 변함없음
윈도우 클리너로 모든 프로그램 초기화 후 다운로드 시도 - 변함없음
윈도우 디펜더 전부 OFF 후 다운로드 시도 - 변함없음
노트북으로 무선 네트워크를 사용하여 다운로드 시도 - 변함없음
노트북으로 스마트폰 핫스팟을 사용하여 다운로드 시도 - 변함없음

지금까지 며칠 전부터 지금까지 아예 다운로드가 되지 않는 유저들의 링크 또한 첨부합니다.

KurtBestor commented 6 months ago

테스트 부탁드려요: https://github.com/KurtBestor/Hitomi-Downloader/releases/tag/Technical-Preview

불가피하게 파일명 형식이 바뀌었어요

ksh082172 commented 6 months ago

빠른 개선 감사합니다.

하지만 일부는 해결되었으나 일부는 여전히 다운로드가 되지 않습니다.

다만 전과 다른 점은 읽는 중 이라고 뜨면서 사진 카운트가 올라가다가 안되는 경우가 있습니다.

작업 로그 하나 올려드립니다.

Invalid: [weibo] https://weibo.com/u/1909849255

version: 4.0+ (23-12-28 23:38:45 UTC) platform / locale: Windows-10-10.0.19045-SP0 / ko_kr order / group / uid: 14 / False / 16460437e995486e8028cda404758a9e input: https://weibo.com/u/1909849255 type: weibo single: False url: https://weibo.com/u/1909849255 dir: zip: artist: None valid / done: False / True range / range_p: None / None time: 1703841085.839675 (23-12-29 09:11:25 UTC) - 1015s elapsed tags: [] lock: False color: invalid paused: False format: None p2f: None segment: None admin: True goodbyedpi: False ytdl: yt_dlp 2023.10.07 pinned: False extras: {} live: False changed: True

[File Names]

[URLs]

[Messages]

stop Traceback (most recent call last): File "utils", line 1376, in start File "utils", line 1455, in start_ File "extractor\weibo_downloader", line 53, in read File "extractor\weibo_downloader", line 66, in checkLogin extractor.weibo_downloader.LoginRequired

Invalid: fail=False EOT: https://weibo.com/u/1909849255 (0.0s)

not f uid: 1909849255 'picinfos' stop Traceback (most recent call last): File "utils", line 1376, in start File "utils", line 1455, in start File "extractor\weibo_downloader", line 58, in read File "extractor\weibo_downloader", line 148, in get_imgs KeyError: 'pic_infos'

Invalid: fail=True EOT: https://weibo.com/u/1909849255 (63.6s)

제가 확인한 여전히 다운로드 되지 않는 계정입니다.

https://weibo.com/u/1760610310, https://weibo.com/u/1675210345, https://weibo.com/u/1871794463, https://weibo.com/u/3295948791, https://weibo.com/u/1974868795, https://weibo.com/u/1968438512, https://weibo.com/u/1909849255, https://weibo.com/u/2799800584

아 그리고 하나 더 다운받다가 알게 된 개선할 만한 문제점을 말씀드립니다.

되게 오래 전부터 활동한 계정의 사진은 설정에서 사진 제한을 999999로 풀더라도 일정 기간의 사진은 다운로드가 잘 안되는 경우가 있었습니다.

https://weibo.com/u/3562061983

예를 들어 위 링크 분이 16년도부터 활동을 하셧는데 18년도부터 20년도까지의 사진이 다운로드 되지 않는 문제가 있었습니다.

이것도 개선해 주실 수 있으실까요?

지금은 위 계정도 개선판에서 다운로드가 되지 않네요...

KurtBestor commented 6 months ago

테스트 부탁드려요: https://github.com/KurtBestor/Hitomi-Downloader/releases/tag/Technical-Preview

ksh082172 commented 6 months ago

이제 모두 다 잘 다운로드 되는 것 같습니다. 감사합니다.

뒤에 언급드렸던 일정 기간을 뛰어넘고 다운되는 문제도 해결된 것 같습니다. 노고에 다시 한 번 감사드립니다.

ksh082172 commented 6 months ago

며칠 다운로드를 잘 받고 있었는데 잘 되지 않는 경우가 또 발생하여 다시 남기게 됩니다.

Invalid: [weibo] https://weibo.com/u/3970053065

version: 4.0+ (23-12-31 03:49:53 UTC) platform / locale: Windows-10-10.0.19045-SP0 / ko_kr order / group / uid: -357 / False / b758155564a14703b0295a4fd3a62cff input: https://weibo.com/u/3970053065 type: weibo single: False url: https://weibo.com/u/3970053065 dir: zip: artist: None valid / done: False / True range / range_p: None / None time: 1704289371.6048937 (24-01-03 13:42:51 UTC) - 748s elapsed tags: [] lock: False color: invalid paused: False format: None p2f: None segment: None admin: True goodbyedpi: False ytdl: yt_dlp 2023.10.07 pinned: False extras: {} live: False changed: True

[File Names]

[URLs]

[Messages] not f uid: 3970053065 no media: 4985164335682456 stop Traceback (most recent call last): File "utils", line 1377, in start File "utils", line 1456, in start_ File "extractor\weibo_downloader", line 59, in read File "extractor\weibo_downloader", line 159, in get_imgs Exception: no media: 4985164335682456

Invalid: fail=True EOT: https://weibo.com/u/3970053065 (8.3s)

uid: 3970053065 no media: 4985164335682456 stop Traceback (most recent call last): File "utils", line 1377, in start File "utils", line 1456, in start_ File "extractor\weibo_downloader", line 59, in read File "extractor\weibo_downloader", line 159, in get_imgs Exception: no media: 4985164335682456

Invalid: fail=True EOT: https://weibo.com/u/3970053065 (12.2s)

uid: 3970053065 no media: 4985164335682456 stop Traceback (most recent call last): File "utils", line 1377, in start File "utils", line 1456, in start_ File "extractor\weibo_downloader", line 59, in read File "extractor\weibo_downloader", line 159, in get_imgs Exception: no media: 4985164335682456

Invalid: fail=True EOT: https://weibo.com/u/3970053065 (10.9s)

uid: 3970053065 no media: 4985164335682456 stop Traceback (most recent call last): File "utils", line 1377, in start File "utils", line 1456, in start_ File "extractor\weibo_downloader", line 59, in read File "extractor\weibo_downloader", line 159, in get_imgs Exception: no media: 4985164335682456

Invalid: fail=True EOT: https://weibo.com/u/3970053065 (16.1s)

not f uid: 3970053065 no media: 4985164335682456 stop Traceback (most recent call last): File "utils", line 1377, in start File "utils", line 1456, in start_ File "extractor\weibo_downloader", line 59, in read File "extractor\weibo_downloader", line 159, in get_imgs Exception: no media: 4985164335682456

Invalid: fail=True EOT: https://weibo.com/u/3970053065 (13.3s)

https://weibo.com/u/3970053065, https://weibo.com/u/5385116438

또 하나 동시에 읽거나 다운로드 할 수 있는 최대 갯수가 2개밖에 되지 않아 다운로드 속도가 상당히 느립니다.

네트워크 - 최대 동시 작업, 작업 당 최대 연결 옵션을 최대로 놓아도 적용되지 않는 것 같습니다.

자주 문의드리는 것 같아 죄송하고 왜 이리 자주 바뀌는지 모르겠네요 ㅠㅠ

KurtBestor commented 6 months ago

테스트 부탁드려요: https://github.com/KurtBestor/Hitomi-Downloader/releases/tag/Technical-Preview

ksh082172 commented 6 months ago

며칠 테스트 해보느라 조금 늦었습니다. 잘 작동하는 것 같습니다.

KurtBestor / Hitomi-Downloader

웨이보 일부 유저들의 사진이 다운로드가 되지 않습니다. #6739