search

Duff89 / parser_avito

Находит товары на avito.ru по ключевым словам
175 stars 63 forks source link

Не работает из-за того, что авито блокирует IP #50

Closed AdelGiniyatullin closed 1 week ago

AdelGiniyatullin commented 6 months ago

Снимок экрана 2024-05-11 190801

Lushin415 commented 6 months ago

Такая же тема, как то можно обойти?

AdelGiniyatullin commented 6 months ago

Такая же тема, как то можно обойти? Обошёл, используя прокси

Lushin415 commented 6 months ago

Такая же тема, как то можно обойти? Обошёл, используя прокси

Можешь помочь, не могу понять как прикрутить прокси к данному парсеру?

AdelGiniyatullin commented 6 months ago

Такая же тема, как то можно обойти? Обошёл, используя прокси

Можешь помочь, не могу понять как прикрутить прокси к данному парсеру?

image В файле parser_cls.py в функцию SB передать proxy, как на скрине

Lushin415 commented 6 months ago

Спасибо!

MuseCat77 commented 5 months ago

Можно обойти заходя сначала на главную страницу, а потом на тот url, который нужен. При этом на главной все равно будет висеть плашка о блокировке по ip, но дальше пускать будет все равно
image
Таймаут поставил по приколу, может и без него будет работать. Спустя некоторое время главная страница стала грузиться как следует, можно не дожидаться ее загрузки.

Lushin415 commented 5 months ago

https://github.com/Duff89/parser_avito/issues/45#issue-2120458534 А какие настройки используете? У меня периодически вылетает ошибка, как выше по ссылке, иногда парсер продолжает работать, а иногда перестаёт.

Duff89 commented 1 week ago

Закрываю в связи с выходом новой версии