общие вопросы

[vpreparate]

доБрый день y вас интересный модyль какие коды y Долгопрyдного, Одинцово и Балашихи использyет ли Ваш модyль usеr agеntы и Бyдет ли обновление с проксями и реально ли реализовать окно tkintеr где появляется рyчной ввод капчи

[lenarsaitov]

Добрый вечер!

1. По первому, есть код-соответствие в библиотеке, по остальным двух их нет, надо будет актуализировать Долгопрудный 4738 Одинцово 175578 Балашиха 174292

2. Usеr agеntы и прокси на данный момент не используются, вполне возможно в ближайшее время буду смотреть в данном направлении

3. Интересный вопрос, не задумывался, но насколько это актуально? Капча ведь действительна ограниченное кол-во времени (как я помню, лишь 2 минуты), с другой стороны, можно добавить уведомление, к примеру, в телегу. В общем есть, над чем подумать

[lenarsaitov]

В версии 0.4.14 добавлено указание в логах на наличие капчи, в случае его появления

[lenarsaitov]

@vpreparate

Добавил в 0.4.20 версии аргумент для предоставления proxy, а также описание Cloudflare, CloudScraper, Proxy

[lenarsaitov]

В 0.4.22 версии обновил коды у городов

[vpreparate]

Прошу прощения но мне тяжело даётся обучение по пайтону.... я только могу спарсить тайтл или h1 только... планировал разобрать Ваш код для исследования но трудности с понятием конструкции модуля.... если подвернётся случай буду рад лицезреть лайтовую версию не модуля и немного упрощённую У Вас очень качественный продукт для риелтеров но мне как заинтересованному в покупке даже немного страшно его использовать ..... если бы опиараясь на цену и по выбору на город проходить скриптом не нагружая сервер переиодически в поисках самых дешёвых вариантов ... Это Было Бы очень полезно и для людей и для циана... я не подталкиваю и не принуждаю а просто выражаю благодарность Вам.

[lenarsaitov]

Пока не знаю по поводу лайтовой версии.

Но что касается сортировки по цене (для поиска бюджетных вариантов) и прочее, добавил новый функционал по дополнительным полям, можно смотреть, обновившись до 0.4.26 версии

Подробнее здесь: Дополнительные фильтры поиска

Плюс подправил коды городов, и теперь имеются все вышеперечисленные (Долгопрудный, Одинцово, Балашиха) , а также много новых.

[lenarsaitov]

@vpreparate Ниже простой пример, как получить объявление с наиболее бюджетной однокомнатной квартирой в Долгопрудном

import cianparser

additional_settings = {
    "sort_by": "price_from_min_to_max",
}

data = cianparser.parse(
    deal_type="sale",
    accommodation_type="flat",
    location="Долгопрудный",
    rooms=(1),
    start_page=1,
    end_page=1,
    is_saving_csv=True,
    additional_settings=additional_settings,
)

print(data[0])

[vpreparate]

спасиБо - Бyдy тестить!!! TypeError: parse() got an unexpected keyword argument 'additional_settings'

[lenarsaitov]

@vpreparate

предварительно необходимо обновится до последней версии (на данный момент это 0.4.28)

pip install --upgrade cianparser

[lenarsaitov]

@vpreparate

Получилось решить проблему?

[vpreparate]

Да!!! всё очень круто ... Буду ждать лайтовую версию -_- хотя вроде смог в модуль залезть в директорию /site-packages/cianparser можно попытаться разобрать Ваш код

[vpreparate]

у меня три мечты к которым я хотел бы стремиться:

1. интерактивная галлерея где можно наложить звук на картинку и соединить их все в один музыкальный микс (картинки и отрывки есть около 20к в сумме)
2. Сайт который показывает геолокацию телефонов
3. Написать своего простого ИИ как ребёнка который всё время спрашивает и обучается + прогулки в интернет.... для первых двух в идеале надо знать Java для написания приложения а для меня это полная дыра мне бы с питоном разобраться.... а вот третья вполне вероятно осуществима надо тока литературу поискать по TensorFlow. tg @MR_GONZA @MR_PROOF //// да это не по теме (но вопрос закрыт) и мне интересно мнение специалиста .... может не стоит к этому стремиться?

[vpreparate]

я правильно понял??? что всем сбором информации занимается функция: def parse_block .... но такое ощущение что он не со страницы берёт информацию а из урла или как то хитро кооперируют ... для меня очень сложно... и ещё иногда бывает что вместо общей площади записывает дату в таблицу вместо "39.9" например записывает "18 мар." ..... Просто все по разному находят нужные блоки кто-то через path и даже в этом утилиты есть которые помогают ... кто - то через общий тег а кто по другому ..... Буду познавать исскуство выдёргивания текста

[vpreparate]

Здравствуйте хотел поделиться своими достижениями... машинное обучение пока не изучил но задумку осуществил: https://github.com/vpreparate/GLock если Вам понравится идея универсального парсинга любой страницы буду рад лицезреть Ваше профессиональное написание кода не знаю получится у меня определять контент и загружать его?