search

lenarsaitov / cianparser

Сбор данных с сайта объявлений Циан / The parser of general information from the site cian.ru
https://pypi.org/project/cianparser/
MIT License
131 stars 43 forks source link

Ошибка: Dont exist this 1 page.. Ending parse #5

Closed airatvibe closed 1 year ago

airatvibe commented 2 years ago

Здравствуйте!

При попытке запустить парсер сразу выдается следующая ошибка:

>>> import cianparser

>>> data = cianparser.parse(offer="rent_long", accommodation="flat", location="Казань", rooms="all", start_page=1, end_page=2)

               Start collecting information from pages..
403 Client Error: Forbidden for url: https://cian.ru/cat.php?deal_type=rent&engine_version=2&p=1&region=4618&offer_type=flat&type=4
Dont exist this 1 page.. Ending parse

В чем может быть дело? Циан обновился и всё перестало работать? Или может мой айпи заблокирован для Циана. Хотя я запускаю парсер с сервера в Москве.

airatvibe commented 2 years ago

да, скорее всего дело в блокировке по айпи. Потому что с личного айпи этот URL открывается. А есть возможность использовать прокси? Просто не хотелось бы портить "репутацию" своего домашнего айпишника для Циана

justasimplesound commented 2 years ago

да, скорее всего дело в блокировке по айпи. Потому что с личного айпи этот URL открывается. А есть возможность использовать прокси? Просто не хотелось бы портить "репутацию" своего домашнего айпишника для Циана

Добрый день! У вас получилось решить проблему? @AiratHalitov

airatvibe commented 2 years ago

@justasimplesound Да, пока актуальность данного вопроса упала, т.к. парсер собирает только аренду, а меня интересует продажа недвижимости (дома, квартиры, апартаменты) в Сочи.

lenarsaitov commented 1 year ago

@justasimplesound, @justasimplesound

Выпустил обновление с обходом анти бота Cloudflare's, должно было решить эту проблему

Буду рад обратной связи, тк блокировка по IP, наблюдалась не у всех, и имеется подозрение, что существует некоторые различия в зависимости от провайдера и способа раздачи (через телефон?)

airatvibe commented 1 year ago

Нет, через телефон не раздавал. Просто арендованный VPS. Проверю в ближайшее время, как работает

lenarsaitov commented 1 year ago

Ага, хорошо. Наоборот, уверен, раздача через телефон (мобильный интернет) лучше. У меня никогда проблем не возникало, даже без пауз и с большим кол-вом запросов в секунду

В любом случае, буду рад узнать результаты

airatvibe commented 1 year ago

Запустил на домашнем ноуте со своего домашнего интернета -- всё работает. Спасибо!

lenarsaitov commented 1 year ago

Отлично, рад что все получилось