Duff89 / parser_avito

Находит товары на avito.ru по ключевым словам
139 stars 47 forks source link

Ошибка перед сменой страницы #37

Closed TUTTIK-FRUTTIK closed 9 months ago

TUTTIK-FRUTTIK commented 9 months ago

requirements через pip установил, Chrome 118 версии, скрипт работает отлично, но до того как дойдет до следующей страницы, как я понял. Текст ошибки в изображении image

Duff89 commented 9 months ago

requirements через pip установил, Chrome 118 версии, скрипт работает отлично, но до того как дойдет до следующей страницы, как я понял. Текст ошибки в изображении image

Попробуйте запустить в режиме отладки (нужно поставить галочку снизу слева) и посмотреть, что там происходит на самом деле

TUTTIK-FRUTTIK commented 9 months ago

Хм, только что запустил в режиме отладки и, несмотря на то, что выдало то же, что и тут, он всё же написал о завершении работы и последующей проверке через заданное время. Тоесть я так понимаю всё же скрипт исполняется спокойно. Думаю пока не буду об этом волноваться, всё равно всё в csv записывается.

В этот раз он не скрывал хром. У меня вопрос, он прям запрашивает у сервера данные на каждое объявление? Если да, то это не должно привести к бану?

Duff89 commented 9 months ago

В этот раз он не скрывал хром. У меня вопрос, он прям запрашивает у сервера данные на каждое объявление? Если да, то это не должно привести к бану?

Скрипт эмулирует работу обычного пользователя для минимизации бана. Там такая логика: 1) Он смотрит на начальной странице подпадает ли объявление под условия: цена, слова-ключи, дубль или нет 2) Если подпадает, то он открывает уже это объявление полностью на новой странице и там забирает остальную информацию. 3) Если не подпадает - переходит к следующему объявлению. Обратите внимание, что в скрипте нет авторизации, т.е. всё парсится без входа в аккаунт, поэтому бан по IP не так страшен, хотя и может быть, а бан аккаунта исключен