lenarsaitov / cianparser

Сбор данных с сайта объявлений Циан / The parser of general information from the site cian.ru
https://pypi.org/project/cianparser/
MIT License
131 stars 43 forks source link

Не получается спарсить, с впн тоже. наверное проблема в заглушке, что есть на 5 секунд на сайте. #6

Closed kargintima closed 1 year ago

kargintima commented 1 year ago

Start collecting information from pages.. 503 Server Error: Service Temporarily Unavailable for url: https://cian.ru/cat.php?deal_type=rent&engine_version=2&p=1&region=4588&offer_type=flat&type=4 Dont exist this 1 page.. Ending parse

Есть идеи у кого?

lenarsaitov commented 1 year ago

Постараюсь посмотреть на днях

q00Dree commented 1 year ago

Аналогичная ошибка, есть обновления по этому вопросу?

vbaryshev commented 1 year ago

Аналогично

lenarsaitov commented 1 year ago

Проблема была связана с Cloudflare anti-bot page

При помощи библиотеки cloudscraper удалось обойти данное ограничение https://github.com/VeNoMouS/cloudscraper

Выпустил соответствующее обновление