Разработать связку PostgresQL - DataLense

[olgapshen]

У нас сейчас затык на объёме данных дорог по обоим осям:

• количество строк
• количество точек в строке

Напомню, геоданные в нашем случае это гибрид реляционной и документо-ориентированной модели. Таким образом каждая дорога это запись, а все её точки это поле этой записи типа MULTILINE_STRING.

Далее. Нам необходимо уже интегрировать Datalense с БД. Мы уже выяснили, что у Postgres есть отдельная функциональность для хранения объёмов геоданных. Тёма сказал, что у MongoDB это развито ещё лучше. Что нам необходимо от БД? Нам необходимо, чтобы она реализовывала интерфейс Geopandas.

То бишь:

• выборка точек в заданной области
• выборка точек в пересечении областей
• булевые функции множеств заданные над координатами (пересекается/не пересекается)
• расчёт расстояния между объектами
• и тд.

Geopandas подходит ко всему DataFrame-у как к единому объекту. Возможно PostgresQL не полностью реализует этот интерфейс, в таком случае потребуется установить вместо или вместе с PG и MongoDB.

Далее. Выборка должна позволить нам обойти ограничения DataLense. Сейчас их два о которых говорилось выше. Как можно реализовать выборку?

1. В идеале выбрать точки из заданного квадрата или круга
2. Выбрать только те записи, количество точек в которых не превышает ограничение в количестве не превышающем ограничение

Параллельно @sshiae и @lvapl будут изучать гео возможности PG и MongoDB, дабы решить что делать далее.

Следующие этапы:

• Создать бекенд и экспортировать данные через API

• Реализовать фактически свою версию DataLense, которая будет взаимодействовать с этим API

• [x] Интеграция Postgres и DataLense

• [x] Сравнение возможностей Postgres и MongoDB И принятие решения

[sshiae]

Создал подключение в DataLeans к PostgreSQL.

Здесь Имя пользователя и Пароль нужно указать от своего пользователя СУБД PostgreSQL

[sshiae]

Давай эту задачку пока сделаем, как задача, в которой мы анализируем возможности PostGIS (Напишу WIKI), Сравниваем с MongoDB, а также реализуем подключение PostgreSQL к DataLeans

[olgapshen]

Давай эту задачку пока сделаем, как задача, в которой мы анализируем возможности PostGIS (Напишу WIKI), Сравниваем с MongoDB, а также реализуем подключение PostgreSQL к DataLeans

Так давай конечно! Ты главное ребят подключай :)

[olgapshen]

Создал подключение в DataLeans к PostgreSQL.

Здесь Имя пользователя и Пароль нужно указать от своего пользователя СУБД PostgreSQL

Этот мануал наверное тоже надо внести в Вики

[lvapl]

Так как уже используется PostgreSQL и полностью удовлетворяет нашим потребностям, то не имеет смысла рассматривать вариант с MongoDB. Поэтому закрываем задачу