search

NorthGateVologda / NorthGate

Геоданные и машинное обучение
0 stars 0 forks source link

Парсинг данных из 2GIS #35

Closed Malaxov16 closed 1 year ago

Malaxov16 commented 1 year ago

Спарсить данные из 2GIS,необходимые для расчета обеспеченности объектами типа "Парк".

Задача с описанием методики расчета обеспеченности https://github.com/NorthGateVologda/NorthGate/issues/28

Дополнительно можно посмотреть тему с экспортом объектов из Яндекс карт. Предположительно, есть такой способ https://yandex.ru/support/maps-builder/concept/markers_3.html

Malaxov16 commented 1 year ago

Спарсил объекты для расчета:

Парки:

Объекты парки.xlsx

Объекты для расчета индекса парка:

1). Объекты бизнеса:

Объекты бизнеса.xlsx

2). Объекты социальной инфраструктуры:

Объекты социальной инфраструктуры.xlsx

3). Объекты транспортной инфраструктуры (парковки, остановки) не удается спарсить. Остановки не парсятся, скорее всего имеют отличную от других объектов структуру представления. Парковок очень много, при парсинге более 100 строк 2GIS блокирует работу с сайтом, при прасинге небольшими участками карты парсинг может падать в ошибку.

4). Объекты туризма. Использовать сет от организаторов https://drive.google.com/file/d/1AKlCxrKiM-JYqySpML912voy_JbNgvzJ/view?usp=drive_link

olgapshen commented 1 year ago

Залей всю информацию в базу.... Сможешь?

Marwin887 commented 1 year ago

@olgapshen Оля, данные все спарсили. закачал в БД в таблицу Facility, все кроме мест парковок. Парковки сегодня закачаю, тоже их нашел. Нужно довести столбец coordinates до ума, что бы у него был тип POINT. Резать отдельную задачу не вижу смысла.

olgapshen commented 1 year ago

Добавила в facility в колонку geometry координаты в формате geo postgis.

olgapshen commented 1 year ago

3). Объекты транспортной инфраструктуры (парковки, остановки) не удается спарсить. Остановки не парсятся, скорее всего имеют отличную от других объектов структуру представления. Парковок очень много, при парсинге более 100 строк 2GIS блокирует работу с сайтом, при прасинге небольшими участками карты парсинг может падать в ошибку.

Это всё надо грузить через Overpass или из nextgis, но единоразово через Nifi.

olgapshen commented 1 year ago

@Marwin887 Раз всё доступное залили можно закрывать?

Marwin887 commented 1 year ago

@olgapshen Остановки я загрузил, задачу закрою