search

lenarsaitov / cianparser

Сбор данных с сайта объявлений Циан / The parser of general information from the site cian.ru
https://pypi.org/project/cianparser/
MIT License
131 stars 43 forks source link

Парсер ложится на 3-4 - ой странице #39

Open vlad13097 opened 9 months ago

vlad13097 commented 9 months ago

Здравствуйте. Парсер ложится на 3-4 - ой странице с ошибкой Exception: 429 Client Error: Too Many Requests for url: https://www.cian.ru/cat.php?engine_version=2&p=4&with_neighbors=0&region=4959&deal_type=sale&offer_type=flat&room1=1 The collection of information from the pages with ending parse on 4 page...

FedorSafonov commented 6 months ago

Здравствуйте. Парсер ложится на 3-4 - ой странице с ошибкой Exception: 429 Client Error: Too Many Requests for url: https://www.cian.ru/cat.php?engine_version=2&p=4&with_neighbors=0&region=4959&deal_type=sale&offer_type=flat&room1=1 The collection of information from the pages with ending parse on 4 page...

Я для себя нашёл такое решение: загружать страницы по одной и после каждой страницы после 2-й ставить time.sleep(120), да будет намного дольше, но хоть всё загружается )

p-o-e-t-i-q commented 2 months ago

Здравствуйте. Парсер ложится на 3-4 - ой странице с ошибкой Exception: 429 Client Error: Too Many Requests for url: https://www.cian.ru/cat.php?engine_version=2&p=4&with_neighbors=0&region=4959&deal_type=sale&offer_type=flat&room1=1 The collection of information from the pages with ending parse on 4 page...

Используйте прокси.