lenarsaitov / cianparser

Сбор данных с сайта объявлений Циан / The parser of general information from the site cian.ru
https://pypi.org/project/cianparser/
MIT License
126 stars 38 forks source link

Хэндлер капчи #18

Open shikarukitake opened 1 year ago

shikarukitake commented 1 year ago

Добрый день. Планируется ли добавить хэндлер капчи? В какой-то момент в ответ приходит капча (где нужно выбрать картинки со светофором, например), и пока ее не пройдешь, объявлений в ответ не приходит.

Притом еще проблема в том, что после получения капчи парсер вообще перестает работать, потому что капча не вводится. Пробовал зайти просто через обычный браузер и ввести капчу, но после этого парсер все равно получает 0 объявлений. Видимо там нужен ответ от такого же user-agent, на который пришла капча. Как ввести ее не понятно. Соответственно парсер больше не работает. Помогите, пожалуйста, что делать в такой ситуации?

lenarsaitov commented 11 months ago

Добрый вечер!

От капчи одним лишь User-Agent не избавишься

Нужны более серьезные инструменты, к примеру такие как прокси. Другой вариант - это использование сервисов, которые вручную решают капчи (за деньги, разумеется)

Прокси добавлено, вот описание Cloudflare, CloudScraper, Proxy

Постараюсь изучить другие способы

lenarsaitov commented 11 months ago

А также в недавних версиях обновлены соотвествующие логи, вместе с корректным завершением при появлении капчи