search

Duff89 / parser_avito

Находит товары на avito.ru по ключевым словам
139 stars 47 forks source link

Не работает из-за того, что авито блокирует IP #50

Open AdelGiniyatullin opened 2 months ago

AdelGiniyatullin commented 2 months ago

Снимок экрана 2024-05-11 190801

Lushin415 commented 1 month ago

Такая же тема, как то можно обойти?

AdelGiniyatullin commented 1 month ago

Такая же тема, как то можно обойти? Обошёл, используя прокси

Lushin415 commented 1 month ago

Такая же тема, как то можно обойти? Обошёл, используя прокси

Можешь помочь, не могу понять как прикрутить прокси к данному парсеру?

AdelGiniyatullin commented 1 month ago

Такая же тема, как то можно обойти? Обошёл, используя прокси

Можешь помочь, не могу понять как прикрутить прокси к данному парсеру?

image В файле parser_cls.py в функцию SB передать proxy, как на скрине

Lushin415 commented 1 month ago

Спасибо!

MuseCat77 commented 1 month ago

Можно обойти заходя сначала на главную страницу, а потом на тот url, который нужен. При этом на главной все равно будет висеть плашка о блокировке по ip, но дальше пускать будет все равно
image
Таймаут поставил по приколу, может и без него будет работать. Спустя некоторое время главная страница стала грузиться как следует, можно не дожидаться ее загрузки.

Lushin415 commented 1 month ago

https://github.com/Duff89/parser_avito/issues/45#issue-2120458534 А какие настройки используете? У меня периодически вылетает ошибка, как выше по ссылке, иногда парсер продолжает работать, а иногда перестаёт.