Closed GoogleCodeExporter closed 9 years ago
Завтра. Сегодня уже поздновато. Буду
фиксить все, что наломал за последнюю
неделю.
Original comment by catgirlfighter
on 17 Jan 2013 at 6:51
Временный вариант пока не пофиксится - не
скроллить и не выбирать элементы пока идет
загрузка списка. Однако, получился самый
нестабильный билд, который когда-либо
выходил.
Original comment by catgirlfighter
on 17 Jan 2013 at 7:01
Должно было стать исправлено.
Original comment by catgirlfighter
on 18 Jan 2013 at 2:44
Санки на выходных :)
Original comment by catgirlfighter
on 18 Jan 2013 at 2:53
Санки готовы, можно кататься.
Original comment by catgirlfighter
on 20 Jan 2013 at 6:26
на санках всё ещё лезут ошибки вида
02:07:40 http://chan.sankakucomplex.com/post?tags=тег&page=8: HTTP/1.1 429
Too many requests
02:07:40 http://chan.sankakucomplex.com/post?tags=тег&page=10: HTTP/1.1 429
Too many requests
02:07:40 http://chan.sankakucomplex.com/post?tags=тег&page=2: HTTP/1.1 429
Too many requests
02:07:40 http://chan.sankakucomplex.com/post?tags=тег&page=13: HTTP/1.1 429
Too many requests
02:07:41 http://chan.sankakucomplex.com/post?tags=тег&page=15: HTTP/1.1 429
Too many requests
02:07:41 http://chan.sankakucomplex.com/post?tags=тег&page=19: HTTP/1.1 429
Too many requests
02:07:41 http://chan.sankakucomplex.com/post?tags=тег&page=23: HTTP/1.1 429
Too many requests
02:07:41 http://chan.sankakucomplex.com/post?tags=тег&page=14: HTTP/1.1 429
Too many requests
02:07:41 http://chan.sankakucomplex.com/post?tags=тег&page=17: HTTP/1.1 429
Too many requests
02:07:41 http://chan.sankakucomplex.com/post?tags=тег&page=25: HTTP/1.1 429
Too many requests
02:07:41 http://chan.sankakucomplex.com/post?tags=тег&page=24: HTTP/1.1 429
Too many requests
02:07:41 http://chan.sankakucomplex.com/post?tags=тег&page=16: HTTP/1.1 429
Too many requests
02:07:41 http://chan.sankakucomplex.com/post?tags=тег&page=18: HTTP/1.1 429
Too many requests
02:07:41 http://chan.sankakucomplex.com/post?tags=тег&page=20: HTTP/1.1 429
Too many requests
02:07:41 http://chan.sankakucomplex.com/post?tags=тег&page=22: HTTP/1.1 429
Too many requests
02:07:41 http://chan.sankakucomplex.com/post?tags=тег&page=28: HTTP/1.1 429
Too many requests
02:07:41 http://chan.sankakucomplex.com/post?tags=тег&page=27: HTTP/1.1 429
Too many requests
02:07:41 http://chan.sankakucomplex.com/post?tags=тег&page=26: HTTP/1.1 429
Too many requests
когда много картинок и, соответственно,
страниц, только теперь не сразу, а с
небольшой задержкой, вроде бы.. и для каждой
страницы.
Original comment by ilia....@gmail.com
on 20 Jan 2013 at 10:10
а, ещё-ещё, кажется теперь с ними не
работает правило даблов md5=md5 - качает с
санок и других бур одно и то же, игнорируя
что они одинаковые, в случае совпадения
имён скипает как надо, но качает всё что
может, в итоге приходится снова всё
контролировать Antidupl.net'ом
Original comment by ilia....@gmail.com
on 20 Jan 2013 at 10:15
вообще, хорошо бы проге добавить немного
функционала последней проги, что б не
только качала но и сравнивала "визуально"
картинки после того как скачает, и например
удаляла автоматом те у которых совпадение
100%, но это уже мечты из разряда фантастики и
не по теме)
Original comment by ilia....@gmail.com
on 20 Jan 2013 at 10:19
>>6
Для санок это нормально. Они запретили
больше примерно 2х запросов к страницам в
секунду, т.е. ограничь загрузку списка
двумя потоками на ресурс. Надо будет в
скрипте прикрутить опцию, позволяющую
жестко ограничить максимальное количество
ресурсов чтобы пользователи не пытались
ставить больше, чем возможно.
>>7
Да, не работает, и это тоже нормально. Санки
огородили свои API, и теперь нельзя получить
md5 до полной скачки файла на хард. Конечно,
можно прикрутить "постобработку", но тогда
в ошибку >>6 будет упираться еще и скачка
пикч.
>>8
Мне нужно доделать механизм сохранения
имени тем пикчам, у которых имя файла не
известно заранее (т.е. становится известно
только после того, как файл скачается на
винт, напр. если сначала указан не верный
формат или вообще не указан), и можно будет
приделать проверку файлов по md5 или crc.
Original comment by catgirlfighter
on 21 Jan 2013 at 10:06
>>запретили больше примерно 2х запросов к
страницам в секунду
>>Надо будет в скрипте прикрутить опцию,
позволяющую жестко ограничить
максимальное количество ресурсов
ну не всех же, а отдельно для санок, а для
тех, для которых можно больше - пусть будет
больше. Кстати, когда много потоков
скачивания и качается с коначана, оттуда
тоже часть картинок не скачивается с
первого раза, приходится перезапускать
скачивание что б докачались, было бы
неплохо прогу научить для таких
ограниченных ресурсов знать ограничения.
Original comment by ilia....@gmail.com
on 21 Jan 2013 at 2:03
Конечно, не для всех ресурсов, а только для
тех, где это необходимо. Когда надо будет
прикрутить e/exgentai этот вопрос встанет
особенно остро. Ресурс с самым большим
количеством ограничений и уловок эвер.
Original comment by catgirlfighter
on 21 Jan 2013 at 2:17
Original comment by catgirlfighter
on 13 Feb 2013 at 10:17
Original issue reported on code.google.com by
ilia....@gmail.com
on 17 Jan 2013 at 6:02