Open warmwave opened 3 years ago
Во-первых, спасибо за бота. Сэкономило кучу времени и нервов. И на всякий случай, если ещё не попадались подобные ситуации:
Добрый день. Попробуйте последнюю версию, так очень много изменений. В инструкции постарался описать все моменты.
Попробуйте последнюю версию, так очень много изменений. В инструкции постарался описать все моменты.
Спасибо, в принципе, старый бот под себя немного переделал и в предыдущем варианте он делает всё что нужно. Если бы сайт РР нормально работал, то вообще была бы сказка.
- Вы имеете в виду, что при попытке получить выписку по аннулированному объекту происходит что-то не то?
Если не отшибает память - у таких объектов нет капчи. На этапе поиска, конечно, я их не отлавливал, был большой список. Группировал по регионам и загонял сразу перечень, в итоге - пару раз словил сюрприз с аннулированием. (Я работал с кад.номерами, те которые искал по адресам, там да, отсеивал)
2.1 Я с таким не сталкивался. Пока не могу проверить - росреестр как обычно. Если это актуально, подумаю над доработкой бота.
Спасибо за отзывчивость =) Только если вам в вашей работе это нужно будет. Проблема возмникала именно на стадии вывода перечня кад.номеров в разрезе региона. Для работы самого бота это не критично (по крайней мере в старой версии).
2.2 Если правильно, понял, то найти один и тот же КН можно указав любой регион. Не думаю, что это проблема, если объект можно найти.
Нет, точно, не проблема. Просто вспомнил именно нюансы работы поиска. Я обычно весь перечень (например, МСК + МО) вбиваю в поиск сначала по Москве, потом по МО. Если вы для себя делали полную автоматизацию, и это как-то поможет добавить "автоматичности" - всё что я хотел сделать.
Ещё раз спасибо за бота!
И вам спасибо!
На этапе поиска, конечно, я их не отлавливал, был большой список. Группировал по регионам и загонял сразу перечень, в итоге - пару раз словил сюрприз с аннулированием.
Попробуйте скрипт rosreestr/SIpON v.2/SIpON headless No Captcha v.2.py - даёте ему список КН (образец в kn.xlsx, можно задать любое имя и драг-н-дропом бросить на скрипт, можно запустить несколько копий). Работает быстро. В результатах будет много полезной информации, в. т.ч. числе "аннулировано", "снято с учета" и дата перехода права - если она есть, можно заказывать. Если там "Данные отсутствуют" - заказывать бесполезно.
Спасибо, взял что было "срочно нужно", про остально даже не почитал. Пойду почитаю описание остального.
Добрый день. В прошлый раз писал уже просьбу. В новой версии скрипта тоже хотелось бы видеть. Дополнительный столбец "Форма собственности". Заранее спасибо.
Добрый день. Добавил столбец с формой собственности. Прошу прощения, что долго тянул с ответом.
Воскресенье, 3 апреля 2022, 6:30 +03:00 от VideoSar64 @.***>: Добрый день. В прошлый раз писал уже просьбу. В новой версии скрипта тоже хотелось бы видеть. Дополнительный столбец "Форма собственности". Заранее спасибо. — Reply to this email directly, view it on GitHub , or unsubscribe . You are receiving this because you commented. Message ID: <0-6-1-7/rosreestr/pull/5/c1086768830 @ github . com>
Андрей Иванов
Добрый день. Добавил столбец с формой собственности. Прошу прощения, что долго тянул с ответом.
Воскресенье, 3 апреля 2022, 6:30 +03:00 от VideoSar64 @.***>: Добрый день. В прошлый раз писал уже просьбу. В новой версии скрипта тоже хотелось бы видеть. Дополнительный столбец "Форма собственности". Заранее спасибо. — Reply to this email directly, view it on GitHub , or unsubscribe . You are receiving this because you commented. Message ID: <0-6-1-7/rosreestr/pull/5/c1086768830 @ github . com>
Андрей Иванов
Спасибо
Добрый день! Было бы просто шикарно добавить возможность автоматически перебирать ключи, чтобы не ждать по 5 минут каждый раз. У меня, например, есть 5 разных ключей, таким образом я могу ждать всего по 1 минуте. Заранее благодарна.
сегодня перестало отображаться окно программы(( не могу понять почему. в какую сторону копать. настройки никакие не менял. За обновленный get_info_2.py отдельное спасибо.
Скорее всего, обновился браузер и перестал работать webdriver — нужно проверить версию браузера и скачать новый webdriver https://chromedriver.chromium.org/downloads Проверить можно скриптом Проверка компонентов.py https://github.com/0-6-1-7/rosreestr
Понедельник, 4 июля 2022, 10:08 +03:00 от VideoSar64 @.***>: сегодня перестало отображаться окно программы((
не могу понять почему. в какую сторону копать. настройки никакие не менял. За обновленный get_info_2.py отдельное спасибо. — Reply to this email directly, view it on GitHub , or unsubscribe . You are receiving this because you commented. Message ID: <0-6-1-7/rosreestr/pull/5/c1173433030 @ github . com>
Андрей Иванов
Скорее всего, обновился браузер и перестал работать webdriver — нужно проверить версию браузера и скачать новый webdriver https://chromedriver.chromium.org/downloads Проверить можно скриптом Проверка компонентов.py https://github.com/0-6-1-7/rosreestr Понедельник, 4 июля 2022, 10:08 +03:00 от VideoSar64 @.***>: сегодня перестало отображаться окно программы(( не могу понять почему. в какую сторону копать. настройки никакие не менял. За обновленный get_info_2.py отдельное спасибо. — Reply to this email directly, view it on GitHub , or unsubscribe . You are receiving this because you commented. Message ID: <0-6-1-7/rosreestr/pull/5/c1173433030 @ github . com> -- Андрей Иванов
Хм. Скачайте последние версии скрипта https://github.com/0-6-1-7/rosreestr/tree/master/EGRN%20bot Я пытался кое-что поменять, но не удачно. Врнулся к старой версии. Возможно, вам не повезло скачать нерабочую версию. То, что сейчас выложено, точно работает, сегодня утром проверял. И попробуйте запустить через IDLE — в случае ошибки там может быть кое-какая полезная информация.
Понедельник, 4 июля 2022, 10:23 +03:00 от VideoSar64 @.>: Скорее всего, обновился браузер и перестал работать webdriver — нужно проверить версию браузера и скачать новый webdriver https://chromedriver.chromium.org/downloads Проверить можно скриптом Проверка компонентов.py https://github.com/0-6-1-7/rosreestr Понедельник, 4 июля 2022, 10:08 +03:00 от VideoSar64 @ .>: сегодня перестало отображаться окно программы(( не могу понять почему. в какую сторону копать. настройки никакие не менял. За обновленный get_info_2.py отдельное спасибо. — Reply to this email directly, view it on GitHub , or unsubscribe . You are receiving this because you commented. Message ID: < /pull/5 /c1173433030 @ github . com> -- Андрей Иванов — Reply to this email directly, view it on GitHub , or unsubscribe . You are receiving this because you commented. Message ID: <0-6-1-7/rosreestr/pull/5/c1173447232 @ github . com>
Андрей Иванов
Хм. Скачайте последние версии скрипта https://github.com/0-6-1-7/rosreestr/tree/master/EGRN%20bot Я пытался кое-что поменять, но не удачно. Врнулся к старой версии. Возможно, вам не повезло скачать нерабочую версию. То, что сейчас выложено, точно работает, сегодня утром проверял. И попробуйте запустить через IDLE — в случае ошибки там может быть кое-какая полезная информация. Понедельник, 4 июля 2022, 10:23 +03:00 от VideoSar64 @.>: Скорее всего, обновился браузер и перестал работать webdriver — нужно проверить версию браузера и скачать новый webdriver https://chromedriver.chromium.org/downloads Проверить можно скриптом Проверка компонентов.py https://github.com/0-6-1-7/rosreestr Понедельник, 4 июля 2022, 10:08 +03:00 от VideoSar64 @ .>: сегодня перестало отображаться окно программы(( не могу понять почему. в какую сторону копать. настройки никакие не менял. За обновленный get_info_2.py отдельное спасибо. — Reply to this email directly, view it on GitHub , or unsubscribe . You are receiving this because you commented. Message ID: < /pull/5 /c1173433030 @ github . com> -- Андрей Иванов — Reply to this email directly, view it on GitHub , or unsubscribe . You are receiving this because you commented. Message ID: <0-6-1-7/rosreestr/pull/5/c1173447232 @ github . com> -- Андрей Иванов
Скачал заново. Заработало. Спасибо.
Добрый день. Хорошая идея, есть над чем подумать. Пока не вижу простого способа это сделать. Предполагаю, что нужен некий сверхбот-брокер, который будет раздавать задания отдельным ботам-воркерам, запущенным в отдельных процессах. Я пока с такими задачами не сталкивался, так что быстрого решения не обещаю. Если у вас есть идеи или пожелания, готов выслушать.
Среда, 15 июня 2022, 17:27 +03:00 от Hugin&Munin @.***>: Добрый день! Было бы просто шикарно добавить возможность автоматически перебирать ключи, чтобы не ждать по 5 минут каждый раз. У меня, например, есть 5 разных ключей, таким образом я могу ждать всего по 1 минуте. Заранее благодарна. — Reply to this email directly, view it on GitHub , or unsubscribe . You are receiving this because you commented. Message ID: <0-6-1-7/rosreestr/pull/5/c1156545314 @ github . com>
Андрей Иванов
Здравствуйте. Спасибо Вам за разработку такого интересного продукта. Хотел попробовать воспользоваться ее возможностями, но что-то не получается. Как я понимаю, проблема возникает на этапе отправки уведомлений по адресу электронной почты. Файл библиотеки send_email.py и файл email.ini, упоминаемые в руководстве, в папке бота у меня отсутствуют. Пытаюсь автоматизировать процесс запроса сведений (EGRN bot v.3.4.2.py). Не подскажете: в чем может быть причина ошибки?
Добрый день. Я убрал всё, что связано с email, несколько версий назад. В 3.4.2 этого точно нет. Пожалуйста, скачайте скрипт заново. EGRN bot v.3.4.2.py — выписки с переходами права. EGRN downloader v.3.4.1.py — выписки со сведениями об объекте.. Обратите внимание, что запрос был отправлен, а скрипт остановился уже после этого.
Вторник, 1 ноября 2022, 15:20 +03:00 от Illsat @.***>: Здравствуйте. Спасибо Вам за разработку такого интересного продукта. Хотел попробовать воспользоваться ее возможностями, но что-то не получается. Как я понимаю, проблема возникает на этапе отправки уведомлений по адресу электронной почты. Файл библиотеки send_email.py и файл email.ini, упоминаемые в руководстве, в папке бота у меня отсутствуют. Пытаюсь автоматизировать процесс запроса сведений (EGRN bot v.3.4.2.py). Не подскажете: в чем может быть причина ошибки? — Reply to this email directly, view it on GitHub , or unsubscribe . You are receiving this because you commented. Message ID: <0-6-1-7/rosreestr/pull/5/c1298431725 @ github . com>
Андрей Иванов
Добрый день. Я убрал всё, что связано с электронной почтой, несколько версий назад. В 3.4.2 этого точно нет. Пожалуйста, скачайте скрипт заново. Бот ЕГРН v.3.4.2.py — выписки с переходами прав. Загрузчик ЕГРН v.3.4.1.py — выписки со сведениями об объекте.. Обратите внимание, что запрос был отправлен, а скрипт направлен уже после этого. Вторник, 1 ноября 2022, 15:20 +03:00 от Illsat @.***>: Здравствуйте. Спасибо Вам за разработку такого интересного продукта. Желаю попробовать ее вкус, но что-то не получается. Как я понимаю, возникает проблема с отправкой сообщений по адресу электронной почты. Файл send_email.py и файл email.ini, упоминаемые библиотеки в обнаружении, в папке бота у меня отсутствуют. Пытаюсь автоматизировать процесс запроса данных (бот ЕГРН v.3.4.2.py). Не подскажете: в чем может быть причина ошибки? — Ответьте на это письмо напрямую, просмотрите его на GitHub или отмените подписку. Вы получаете это, потому что вы прокомментировали. Идентификатор сообщения: <0-6-1-7/rosreestr/pull/5/c1298431725@github. ком> -- Андрей Иванов Скачал, запустил EGRN downloader v.3.4.1.py. Запустился хром и открылась страница ЛК с перечнем запрошенных объектов. Так, вроде как, судя по руководству пользователя: EGRN bot - позволяет запрашивать сведения об объектах EGRN bot SO - позволяет запрашивать сведения о переходе прав EGRN downloader - позволяет загружать результаты запросов p.s. При запуске "EGRN bot v.3.4.2.py" появляется то-же окно с ошибкой
по руководству пользователя
Установка,настройка, работа (30.05.2021).docx
Если где-то есть иной вариант, пришлите, пожалуйста, ссылку или скриншот.
Всё же попробуйте скачать скрипты ещё раз. В тексте обоих скриптов нет упоминаний send_email, да и количество строк (565) меньше указанного в первой ошибке (569).
росреестр изменил страницу поиска справочной информации. нужно код пофиксить. заранее спасибо.
росреестр изменил страницу
Да, займусь в ближайший дни.
К сожалению, ЛК почти всё время не работает, поэтому пока только условно-рабочий вариант. Планировал доделать до 30.11, но не получается.
К сожалению, ЛК почти всё время не работает, поэтому пока только условно-рабочий вариант. Планировал доделать до 30.11, но не получается.
ЛК заработал. Но к сожалению ошибка(((
К сожалению, ЛК почти всё время не работает, поэтому пока только условно-рабочий вариант. Планировал доделать до 30.11, но не получается.
Росреестр вероломно, без объявления войны, изменил месторасположение ФГИС ЕГРН и теперь старый не работает по причине невозможности его пополнения.
Скажите, планируете в ближайшее время сделать фикс?
Добрый день. Работаю над новым ЛК: там не фикс, а почти полностью всё переделывать — слишком много принципиальных изменений. Насчёт срока пока сказать не могу, ориентировочно — пару недель
Четверг, 8 декабря 2022, 14:26 +03:00 от AXX @.***>:
Росреестр вероломно, без объявления войны, изменил месторасположение ФГИС ЕГРН и теперь старый не работает по причине невозможности его пополнения. Скажите, планируете в ближайшее время сделать фикс? — Reply to this email directly, view it on GitHub , or unsubscribe . You are receiving this because you commented. Message ID: <0-6-1-7/rosreestr/pull/5/c1342569958 @ github . com>
Андрей Иванов
Спасибо большое. Я уже понял, что они там все поменяли. Изначально мне показалось что просто перенесли в ЛК этот сервис, а сейчас попробовал руками заказать и понял, что там все поменяли. Ну хоть капчу убрали и лимит между запросами.
Добрый день. Работаю над новым ЛК: там не фикс, а почти полностью всё переделывать — слишком много принципиальных изменений. Насчёт срока пока сказать не могу, ориентировочно — пару недель Четверг, 8 декабря 2022, 14:26 +03:00 от AXX @.***>: Росреестр вероломно, без объявления войны, изменил месторасположение ФГИС ЕГРН и теперь старый не работает по причине невозможности его пополнения. Скажите, планируете в ближайшее время сделать фикс? — Reply to this email directly, view it on GitHub , or unsubscribe . You are receiving this because you commented. Message ID: <0-6-1-7/rosreestr/pull/5/c1342569958 @ github . com> -- Андрей Иванов
Зависает на первом же кадастре
в начале марта росреестр окуклися и ввёл лимиты: 1 запрос в 5 секунд, 500 запросов в сутки (скользящее окно в 86 400 000 миллисекунд) на каждый ip и на каждый логин. Т.е. если с сайтом работает несколько сотрудников одной организации, у которой 1 ip-адрес, то им от щедрот отсыпано 500 запросов в сутки на всех. Кроме того, если кто-то сделал 300 запросов с работы, а потом с тем же логином вошёл из дома с другим ip, то ему останется 200 запросов. В ручном режиме можно сделать больше 300 запросов, но не намного — после 10-20 запросов будет жёсткий бан на сутки, сайт вообще не откроется с ошибкой 403. Судя по скриншоту, вы уже сделали более 500 запросов за сутки.
Четверг, 6 апреля 2023, 20:03 +03:00 от VideoSar64 @.***>:
Зависает на первом же кадастре — Reply to this email directly, view it on GitHub , or unsubscribe . You are receiving this because you commented. Message ID: <0-6-1-7/rosreestr/pull/5/c1499364719 @ github . com>
Андрей Иванов
Это первый запрос за несколько последних суток с этого IP и этого логина....
в начале марта росреестр окуклися и ввёл лимиты: 1 запрос в 5 секунд, 500 запросов в сутки (скользящее окно в 86 400 000 миллисекунд) на каждый ip и на каждый логин. Т.е. если с сайтом работает несколько сотрудников одной организации, у которой 1 ip-адрес, то им от щедрот отсыпано 500 запросов в сутки на всех. Кроме того, если кто-то сделал 300 запросов с работы, а потом с тем же логином вошёл из дома с другим ip, то ему останется 200 запросов. В ручном режиме можно сделать больше 300 запросов, но не намного — после 10-20 запросов будет жёсткий бан на сутки, сайт вообще не откроется с ошибкой 403. Судя по скриншоту, вы уже сделали более 500 запросов за сутки. Четверг, 6 апреля 2023, 20:03 +03:00 от VideoSar64 @.***>: Зависает на первом же кадастре — Reply to this email directly, view it on GitHub , or unsubscribe . You are receiving this because you commented. Message ID: <0-6-1-7/rosreestr/pull/5/c1499364719 @ github . com> -- Андрей Иванов
https://github.com/0-6-1-7/rosreestr/tree/master/SIpON%20v5%20LK Обновил get_info_3.py SIpON LK v5.005.py
Пятница, 7 апреля 2023, 6:48 +03:00 от VideoSar64 @.***>: Это первый запрос за несколько последних суток с этого IP и этого логина....
в начале марта росреестр окуклися и ввёл лимиты: 1 запрос в 5 секунд, 500 запросов в сутки (скользящее окно в 86 400 000 миллисекунд) на каждый ip и на каждый логин. Т.е. если с сайтом работает несколько сотрудников одной организации, у которой 1 ip-адрес, то им от щедрот отсыпано 500 запросов в сутки на всех. Кроме того, если кто-то сделал 300 запросов с работы, а потом с тем же логином вошёл из дома с другим ip, то ему останется 200 запросов. В ручном режиме можно сделать больше 300 запросов, но не намного — после 10-20 запросов будет жёсткий бан на сутки, сайт вообще не откроется с ошибкой 403. Судя по скриншоту, вы уже сделали более 500 запросов за сутки. Четверг, 6 апреля 2023, 20:03 +03:00 от VideoSar64 @ .***>: Зависает на первом же кадастре — Reply to this email directly, view it on GitHub , or unsubscribe . You are receiving this because you commented. Message ID: < /pull/5 /c1499364719 @ github . com> -- Андрей Иванов — Reply to this email directly, view it on GitHub , or unsubscribe . You are receiving this because you commented. Message ID: <0-6-1-7/rosreestr/pull/5/c1499901514 @ github . com>
Андрей Иванов
Спасибо. Только в папке отсутствует файл esia.ini на что и ругается при запуске. Взял из соседней папки.
https://github.com/0-6-1-7/rosreestr/tree/master/SIpON%20v5%20LK Обновил get_info_3.py SIpON LK v5.005.py Пятница, 7 апреля 2023, 6:48 +03:00 от VideoSar64 @.>: Это первый запрос за несколько последних суток с этого IP и этого логина.... >в начале марта росреестр окуклися и ввёл лимиты: 1 запрос в 5 секунд, 500 запросов в сутки (скользящее окно в 86 400 000 миллисекунд) на каждый ip и на каждый логин. Т.е. если с сайтом работает несколько сотрудников одной организации, у которой 1 ip-адрес, то им от щедрот отсыпано 500 запросов в сутки на всех. Кроме того, если кто-то сделал 300 запросов с работы, а потом с тем же логином вошёл из дома с другим ip, то ему останется 200 запросов. В ручном режиме можно сделать больше 300 запросов, но не намного — после 10-20 запросов будет жёсткий бан на сутки, сайт вообще не откроется с ошибкой 403. Судя по скриншоту, вы уже сделали более 500 запросов за сутки. >Четверг, 6 апреля 2023, 20:03 +03:00 от VideoSar64 @ .>: Зависает на первом же кадастре — Reply to this email directly, view it on GitHub , or unsubscribe . You are receiving this because you commented. Message ID: < /pull/5 /c1499364719 @ github . com> > -- Андрей Иванов — Reply to this email directly, view it on GitHub , or unsubscribe . You are receiving this because you commented. Message ID: <0-6-1-7/rosreestr/pull/5/c1499901514 @ github . com> -- Андрей Иванов
Автор будь любезен объясни как правильно заполнить esia.ini, для того что бы без ошибок заходил как частное лицо (у меня привязка к нескольким организациям), как правильно прописать роль и тд...(может пример заполненного файла)... за донат само собой. Постоянно ошибка
Добрый день. Во вложении образец файла. К сожалению, я не могу проверить как оно работает — у меня в госуслугах уже включилась 2ФА с вводом одноразового пароля. Насколько я знаю, скоро 2ФА включится принудительно у всех — тогда придётся либо в скрипте ставить ожидание ввода пароля, либо вообще отказываться от автоматической авторизации.
Вторник, 9 мая 2023, 11:55 +03:00 от shPROmT @.***>: Автор будь любезен объясни как правильно заполнить esia.ini, для того что бы без ошибок заходил как частное лицо (у меня привязка к нескольким организациям), как правильно прописать роль и тд...(может пример заполненного файла)... за донат само собой. Постоянно ошибка — Reply to this email directly, view it on GitHub , or unsubscribe . You are receiving this because you commented. Message ID: <0-6-1-7/rosreestr/pull/5/c1539304006 @ github . com>
Андрей Иванов ;------- логин и пароль для авторизации в ЕСИА ;------- файл должен быть сохранён ;------- формат UTF-8 ;------- кодировка Win-1251
[ESIA] login = 9091112233 password = p4$$vv0rd
;------- если у пользователя определены разные роли в ЕСИА, ;------- нужно указать какую использовать в ЛК Росреестра ;------- если у пользователя определена единственная роль, ;------- строку нужно закомментировать или удалить name = Фамилия Имя Отчество
Это стандартный фаил из архива... как я его не ковырял все равно ошибка. По поводу автоматической авторизации я думаю что будет целесообразнее её отключить, учитывая потенциальные проблемы и сомнительную экономию 10 секунд времени на ручной вход. Просто запускать скрипт на авторизованной странице. Донат все равно кину)) хорошее дело делаешь.
Перестал определять страницу. Выдает ошибку.
Добрый день. У меня работает нормально. Что показывает хром во время ошибки?
Понедельник, 13 ноября 2023, 11:32 +03:00 от VideoSar64 @.***>:
Перестал определять страницу. Выдает ошибку. — Reply to this email directly, view it on GitHub , or unsubscribe . You are receiving this because you commented. Message ID: <0-6-1-7/rosreestr/pull/5/c1807672837 @ github . com>
Андрей Иванов
При поиске в каждой строке пишет: NOTIF$произошло исключение в get_info_kn
Обновите два файла LK SIpON v5.020.py get_info_4.py
Перед запуском поиска поставьте таймаут 7 секунд.
спасибо. ларчик открывался проще. нужно было обновить selenium
Обновите два файла LK SIpON v5.020.py get_info_4.py
Перед запуском поиска поставьте таймаут 7 секунд.
мне кажется окошки с ошибками перестали автоматически закрываться
Я подумал, что они не мешают работе, и не стал с ними заморачиваться.
Я подумал, что они не мешают работе, и не стал с ними заморачиваться.
когда окошек с ошибкой становится много, скрипт останавливается. нужно в ручную закрывать и либо он сам продолжает или снова поиск жать нужно
при появлении окошка с ошибкой скрипт останавливается:
приходится это отслеживать в ручную закрывать окошко с ошибкой на крестик и нажимать снова "Поиск по кад. номерам" тоогда скрипт продолжает работу:
Возможно ли это автоматизировать?
Уже работаю над этим, предыдущее сообщение тоже в работе.
Уже работаю над этим, предыдущее сообщение тоже в работе.
может пригодится: сейчас обратил внимание что при ошибке ERROR_KN_FOUND_NOT_SHOWN даже без окна с ошибкой скрипт тоже останавливается, но при нажатии "Поиск по кад. номерам" работа продолжается
И вопрос не по теме: А работа через API росреестра вообще возможна сейчас?
Обновите два файла LK SIpON v5.100.py get_info_5.py сегодня удивительно быстро всё работает, так ошибок почти нет.
продолжение следует...