search

catgirlfighter / nekopaw

galleries downloader
45 stars 15 forks source link

Скачивание уменьшенных изображений в граббере #38

Closed GoogleCodeExporter closed 9 years ago

GoogleCodeExporter commented 9 years ago 
Какую новую или улучшить старую функцию
вы хотите?

e-hentai (и exhentai) уменьшает изображения больше 
определенного размера для показа на 
страницах, а значит и при использовании 
граббера будут скачиваться уменьшенные 
изображения.

1) На g.e.hentai есть так называемые перки (Hath 
Perks), то есть различные удобства, которые 
можно приобрести за баллы (hath). Перк Source Nexus 
позволяет включить в настройках 
отображение оригинальных (неуменьшенных) 
картинок на страницах.
Настройки хранятся в куках браузера (в том 
числе настройка отображения оригинальных 
картинок на страницах), и если почистить 
куки и зайти заново - настройки 
сбрасываются в дефолтные (отображение 
оригинальных картинок при этом 
выключается).
Граббер куков не учитывает, а значит все 
время качает с дефолтными настройками.
Предложение такое: сделать возможность 
учитывать эту настройку (см. вложение), 
возможно через куки. 
Когда идёт запрос на страницу с 
изображением, отправляется значение кука 
uconfig, и в зависимости от него показывается 
либо уменьшенное изображение, либо полное. 
Значение этой куки пользователь может 
прописать например в файле настроек.

Разумеется, это будет полезным только для 
тех пользователей, которые включили показ 
оригинальных изображений на страницах (и 
предварительно накопили для этого баллов), 
тем не менее, если это не сложно, почему бы 
не реализовать :)

2) Сделать настройку, которая позволяет 
скачивать либо изображение с самой 
страницы, либо использовать ссылку  Download 
original source (где она имеется). Таким образом 
любой залогиненный пользователь сможет 
выбирать либо качать уменьшенные версии 
изображений, либо качать полноразмерные, 
но тратить на это бонусы. Сейчас, если я не 
ошибаюсь, всегда качаются уменьшенные.

Original issue reported on code.google.com by Hakkai.post on 28 Apr 2012 at 9:22

Attachments:

GoogleCodeExporter commented 9 years ago 
http://code.google.com/p/nekopaw/wiki/FirstVersion#Закачка_изображ
ений_по_списку
>g.e-hentai.org, exhentai.org 
>Галочка "Full Size" включает скачку 
полноразмерных изображений по ссылке, 
которая обычно отображается под превью. В 
этом режиме на вашем аккаунте начинает 
тратиться GP, а если их нет, то вскоре ничего 
качаться не будет. 

Кажется, еще в январе была опция добавлена.

Original comment by catgirlfighter on 4 Jun 2012 at 10:18

Attachments:

GoogleCodeExporter commented 9 years ago 
Вот именно, будут тратиться GP. А я писал о 
другом совсем. Я приобрел перк, который 
позволяет мне просматривать 
полноразмерные изображения не переходя по 
этой ссылке внизу, то есть они сразу 
отображаются на странице в полный размер. 
Но это завязано на логин пользователя и на 
куки.
Таким образом я хотел иметь возможность 
подгрузки куков из строки в настройках, 
которую я сам пропишу. Ну конечно это не 
дико востребованная функция, но было бы 
неплохо.

Original comment by Hakkai.post on 15 Jun 2012 at 9:16

GoogleCodeExporter commented 9 years ago 
Внезапно, я тоже на перк потратился. 
Полезно бы было.

Original comment by 3ame...@gmail.com on 3 Jul 2013 at 2:01

GoogleCodeExporter commented 9 years ago 
Нынче непонятно, сколько конкретно GP 
имеется, так что, возможно GP и не тратятся 
уже, при наличии перка.

Original comment by 3ame...@gmail.com on 3 Jul 2013 at 12:19

GoogleCodeExporter commented 9 years ago 
При наличии перка они не тратятся.
Но когда программой скачиваешь, она не 
отправляет на сервер инфу о наличии перка 
(потому что эта инфа только в куках 
браузера хранится) и соответственно сервер 
снимает GP если скачивать полноразмерные.

Original comment by Hakkai.post on 3 Jul 2013 at 4:43

GoogleCodeExporter commented 9 years ago 
Серьезно? Я проверить не смог, у меня просто 
130к этих GP. Качал полноразмерные.

Original comment by 3ame...@gmail.com on 3 Jul 2013 at 5:28

GoogleCodeExporter commented 9 years ago 
Там какая-то замороченная система стала с 
этими их "валютами".

Хотя сейчас,то что GP тратятся уже не так 
актуально, но такая функция в проге была бы 
весьма кстати.

Original comment by Hakkai.post on 3 Jul 2013 at 9:21

GoogleCodeExporter commented 9 years ago 
long long time ago

Название куки может скажите? Очевидно, перк 
я покупать не буду. И почему кука сама не 
появляется при авторизации? Нужно посетить 
еще какую-то страницу?

Original comment by catgirlfighter on 10 Sep 2013 at 11:32

GoogleCodeExporter commented 9 years ago 
Название куки uconfig. Эта кука содержит 
строку со всеми настройками (количество 
результатов поиска, отображать 
полноразмерные картинки или нет, 
показывать галереи списком или эскизами и 
т.д.)

При авторизации появляется кука со 
значениями по умолчанию (где все перки 
выключены), чтобы включить нужное, надо 
зайти на страницу настроек, что можно 
сделать только в браузере, а в программе 
nekopaw никак не сделаешь. И сервер все эти 
настройки сам не хранит, а каждый раз 
считывает из куки.

Собственно идея была в том, чтобы вместо 
строки по умолчанию, подгружать в значение 
этой куки строку, заданную юзером. Чтобы 
это реализовать, перк покупать и не надо.

Original comment by Hakkai.post on 11 Sep 2013 at 10:39

GoogleCodeExporter commented 9 years ago 
Какой-то бредовый механизм однако... Нужно ж 
защищать свои платные услуги, + удобство 
лигитного пользователя страдает.

>чтобы вместо строки по умолчанию, 
подгружать в значение этой куки строку
эта опция не прозрачна для "простых" 
нешарящих пользователей. Поэтому разумнее 
сделать опцию. Можешь кинуть мне копию 
нужной куки?

Original comment by catgirlfighter on 11 Sep 2013 at 12:06

GoogleCodeExporter commented 9 years ago 
>эта опция не прозрачна
этот способ*, вестимо

Original comment by catgirlfighter on 11 Sep 2013 at 12:07

GoogleCodeExporter commented 9 years ago 
Непрозначна, согласен.

Но возможно значение куки со включенными 
перками у каждого юзера свое, потому что 
там какие-то буквенно-цифровые комбинации 
есть.

Я не знаю как из Opera отдельно одну куку 
извлечь, я смотрю через 
Настройки=>Расширенные=>Cookies=>Управление 
cookies и в поиске набираю "exhentai"

Original comment by Hakkai.post on 15 Sep 2013 at 8:02

GoogleCodeExporter commented 9 years ago 
200 лет потребовалось чтобы найти эти ваши 
перки. Судя по всему, у них заглушки на 
чекбоксах (на пунктах, где ответ что-то 
вроде "yep, i want" стоит название "noyoudont"), 
поэтому мне нужен оригинал html-страницы, где 
нужные пункты разлочены, чтобы я мог 
применять настройки сразу после логина.

А вообще чтобы облегчить мне работу можно 
было просто кинуть ссылку на страницу с 
натсройками и попросить, чтобы настройки с 
этой страницы переприменялись, вместо 
того, чтобы просить "редактор кукей". Вечно 
вы лезете немного глубже, чем требуется :) 
Можно ж эти настройки получить и не капаясь 
или лишний раз изменяя какие-то опции и 
поля.

Original comment by catgirlfighter on 16 Sep 2013 at 8:55

GoogleCodeExporter commented 9 years ago 
Я думаю эти заглушки всё равно проверяются 
по наличию перков, то есть вряд ли 
получится "подпихнуть" серверу нужные 
настройки и он для всех заработает.

Но ладно, не буду философствовать)

Страница вот
http://exhentai.org/uconfig.php

Сохраненная страница с разлоченными 
пунктами в архиве. Интересует второй пункт 
снизу (Original Images).

Original comment by Hakkai.post on 16 Sep 2013 at 12:24

Attachments:

GoogleCodeExporter commented 9 years ago 
А я подпихивать и не буду, я узнаю, доступен 
ли человуеку перк, и активирую, иначе нет.

Original comment by catgirlfighter on 16 Sep 2013 at 12:32

GoogleCodeExporter commented 9 years ago 
Аа, понятно)

К слову говоря, это единственный перк 
который может влиять на то, какие 
изображения скачиваются. Остальные перки 
только представление на самом сайте 
меняют, то есть смысла их учитывать нет.

Original comment by Hakkai.post on 16 Sep 2013 at 12:45

GoogleCodeExporter commented 9 years ago 
Все настройки точно сбрасываются? В т.ч. 
"избранное" и тому подобная лабуда? Ото я 
сейчас напишу переприменение настроек, и у 
вас начнут пресеты сбрасываться :)

Алсо закинь мне исходик одной из страниц, 
где вместо уменьшеной картинки 
отображается фуллсайз, сравнить шаблоны.

Original comment by catgirlfighter on 16 Sep 2013 at 12:51

GoogleCodeExporter commented 9 years ago 
Под сбросом настроек я имею ввиду, что 
после входа в настройки нужно именно 
перерасставить все галочки, а не просто 
нажать Apply сразу просле входа на страницу.

Original comment by catgirlfighter on 16 Sep 2013 at 1:09

GoogleCodeExporter commented 9 years ago 
Если браузер "чистый", то есть с этого 
браузера ещё на сайт не заходили и там 
куков нет, то да, все галочки надо 
расставить заново как нужно. После первого 
захода все это сохранится в куках.
То есть можно иметь разные настройки в 
разных браузерах, поэтому думаю ничего не 
должно случиться.

Страница во вложении. Ссылка Download original все 
равно сохраняется, но это не важно. Там уже 
на самой странице полноразмерное 
изображение, и понятно, что надо качать 
именно его, а не по ссылке.

Original comment by Hakkai.post on 16 Sep 2013 at 1:19

Attachments:

GoogleCodeExporter commented 9 years ago 
Первая попытка ушла. Потестируй.

Original comment by catgirlfighter on 16 Sep 2013 at 2:37

GoogleCodeExporter commented 9 years ago 
А, если вдруг что, я имею ввиду 2ю верси 
граббера :)

Original comment by catgirlfighter on 16 Sep 2013 at 2:37

GoogleCodeExporter commented 9 years ago 
Проверял на ссылке http://exhentai.org/g/630045/5b2a1af378/

1) Ругнулся при авторизации, но на сайт зашел

19:02:59 exhentai.org unknown login error
19:02:59 exhentai.org: Error when calculating string ("'" + $main.url + 
"?uh=y&rx=0&ry=0&dm=l&prn=y&f_doujinshi=on&f_manga=on&f_artistcg=on"
                + "&f_gamecg=on&f_western=on&f_non-h=on&f_imageset=on&f_cosplay=on&f_asianporn=on&f_misc=on&favorite_0=Favorites+0"
                + "&favorite_1=Favorites+1&favorite_2=Favorites+2&favorite_3=Favorites+3&favorite_4=Favorites+4&favorite_5=Favorites+5" +
                + "&favorite_6=Favorites+6&favorite_7=Favorites+7&favorite_8=Favorites+8&favorite_9=Favorites+9&rc=0&tl=m&ts=m&tr=1&hp=&hk="
                + "&tf=n&oi=" + $uconfig + "&qb=n&apply=Apply'"): Must be an operand instead of "+" in "... "'" + 'http://exhentai.org/' + "?uh=y&rx=0&ry=0&dm=l&prn=y&f_doujinshi=on&f_manga=on&f_artistcg=on"
                + "&f_gamecg=on&f_western=on&f_non-h=on&f_imageset=on&f_cosplay=on&f_asianporn=on&f_misc=on&favorite_0=Favorites+0"
                + "&favorite_1=Favorites+1&favorite_2=Favorites+2&favorite_3=Favorites+3&favorite_4=Favorites+4&favorite_5=Favorites+5" +
                + "&favorite_6=Favorites+6&favorite_7=Favorites+7&favorite_8=Favorites+8&favorite_9=Favorites+9&rc=0&tl=m&ts=m&tr=1&hp=&hk="
                + "&tf=n&oi=" + '4fc34e' + "&qb=n&apply=Apply'" ..."

2) Если не включать опцию Download Fullsized то 
качаются маленькие, включил - большие. А 
перк учитывается при включенной опции или 
при выключенной?

3) На просмотр в браузере закачка вроде 
никак не повлияла

Original comment by Hakkai.post on 16 Sep 2013 at 3:21

GoogleCodeExporter commented 9 years ago 
Найстройки не применились, где-то ошибка в 
адском пост-запросе. Так что ты за ГП качал :)

Original comment by catgirlfighter on 16 Sep 2013 at 3:39

GoogleCodeExporter commented 9 years ago 
Обновли скрипт, проверь. Работало должно 
без включения fullsized;

Original comment by catgirlfighter on 16 Sep 2013 at 3:41

GoogleCodeExporter commented 9 years ago 
Теперь авторизуется, но с полноразмерными 
при выключенной опции fullsized что-то не 
проканало - качает маленькие. Проверил на 
двух галереях.

Original comment by Hakkai.post on 16 Sep 2013 at 4:26

GoogleCodeExporter commented 9 years ago 
Окей, продолжим тесты завтра.

Original comment by catgirlfighter on 16 Sep 2013 at 9:33

GoogleCodeExporter commented 9 years ago 
Блжад, был бы у меня акк с этой опцией, 
сделал бы все быстро, приходится 
выделываться :)

Original comment by catgirlfighter on 16 Sep 2013 at 9:37

GoogleCodeExporter commented 9 years ago 
А что если тестировать на какой-нибудь 
другой опции. 

Для примера галерея http://exhentai.org/g/630045/5b2a1af378/

Когда идет получение списка страниц с 
изображениями, по умолчанию на странице 4 
строки, и грабер парсит 2 страницы. Если 
изменить эту настройку на отображение 2х 
строк на странице, то парсить он станет уже 
3 страницы. 

Настройка называется "You can set a default thumbnail 
configuration for all galleries you visit.
Rows: "

Перк для неё покупать не надо (чтобы 
переключаться между 2 и 4), а принцип должен 
быть один и тот же, вот можно проверить я 
думаю.

Original comment by Hakkai.post on 17 Sep 2013 at 8:49

GoogleCodeExporter commented 9 years ago 
Обновил, проверь.

Original comment by catgirlfighter on 17 Sep 2013 at 10:00

GoogleCodeExporter commented 9 years ago 
Оо, вот теперь всё пашет ^_^

А подхват опции с количеством отображаемых 
строк (set a default thumbnail configuration) ты тоже сделал?

Original comment by Hakkai.post on 17 Sep 2013 at 10:24

GoogleCodeExporter commented 9 years ago 
Только 4 вместо 2х пока.

Original comment by catgirlfighter on 17 Sep 2013 at 10:44

GoogleCodeExporter commented 9 years ago 
Интересно, что количество страниц грабер 
на моем акке парсит такое же, как если бы и в 
нем самом стояло 8.

Предлагаю вынести эту настройку в default.ini, 
чтобы можно было нужную цифру туда вписать, 
потому что там есть и 8 и 14 и 20. В интерфейс 
можно даже не выносить, чтобы 
пользователей не путать.

Original comment by Hakkai.post on 17 Sep 2013 at 11:41

GoogleCodeExporter commented 9 years ago 
Хотя можно и выпадающим списком наверное в 
настройках.

Original comment by Hakkai.post on 17 Sep 2013 at 11:45

GoogleCodeExporter commented 9 years ago 
Я пошел другим путем, подставляю самый 
последний не заблоченый вариант (ака самый 
большой). Чем больше тем лучше, ибо быстрее 
:) Но не понял, как он сверяет, есть ли у тебя 
доступ к этим размерам (к большим пикчам-то 
заглушки заменяются на генерируемые коды), 
возможно есть какие-то незамеченые скрытые 
поля.

Original comment by catgirlfighter on 17 Sep 2013 at 11:49

GoogleCodeExporter commented 9 years ago 
>подставляю самый последний не заблоченый 
вариант
Тоже логично) 

Получается весьма любопытно. Я приобрел 
перк на 14 строк для проверки, и теперь 
грабер парсит страницы, как будто этих 
строк там 20. 

http://exhentai.org/g/630298/0f86978d56/
Вот эту галерею за 2 страницы спарсил.

Может у них там на сайте баг закрался 
какой-нибудь) Потому что когда должно было 
быть на 4, он парсил как на 8. Интересно, если 
чисто ради эскперимента поставить самое их 
большое значение 40 или 32, он правда станет 
парсить 40 или нет)

Original comment by Hakkai.post on 17 Sep 2013 at 1:32

GoogleCodeExporter commented 9 years ago 
Если есть желание можешь 
поэксперементировать с куками, я для этого 
использую bugzilla плагин для фурифокса. В 
срипте оставлю как есть, ибо мало ли что 
изменится, и все придется править назад.

Original comment by catgirlfighter on 17 Sep 2013 at 1:36

GoogleCodeExporter commented 9 years ago 
Согласен, рассчитывать на баги в сайте - 
ненадежно. Грабер и так хорошо работает.

Original comment by Hakkai.post on 17 Sep 2013 at 2:01

GoogleCodeExporter commented 9 years ago

Original comment by catgirlfighter on 20 Sep 2013 at 9:29