Azure / azure-sqldb-spark

This project provides a client library that allows Azure SQL DB or SQL Server to act as an input source or output sink for Spark jobs.
MIT License
75 stars 52 forks source link

Будьте так добры, добавьте маркировку колонок по имени для цели массива, пользуясь списком метаданных #58

Closed MironAtHome closed 4 years ago

MironAtHome commented 4 years ago

В настоящий момент описание каталога применено только на стороне выборки данных. Что значительно усложняет использование компонента для объектов, когда объект - цель доставки данных не соответствует описанию схемы источника. Для реального проэкта есть только один выход - создание прослойки отображений ( views ) с целью создания точных отражений источника потока данных и цели, куда их надо доставить и записать. Подобные прослойки, при всех плюсах, загромождают каталог описания СУБД и совершенно не подходят для платформ с несколькими сотнями объектов. В общем - то добавить эти функции в компонент не сложно. Но опять же, внесение этих изменений несет некоторый дикомфорт, и потом, это достаточно просто. Поэтому лучшим подходом конечно же является прибавление соответствующих расширений в сам компонент. Если Вы согласны, я поделюсь тем, что сделал на эту тему в Pull Request в собственной "вилке".

arvindshmicrosoft commented 4 years ago

@MironAtHome I am not sure if I understand your question and / or proposal. Also, a newer project Apache Spark Connector for SQL Server and Azure SQL has been released. Not sure if it will add any value to your scenario and requirement, but please feel free to evaluate it.

arvindshmicrosoft commented 4 years ago

No activity on this - closing.