aureliowozhiak / DLaaS

Data Lake as a Service
23 stars 6 forks source link

Criar classes para conectores com bancos de dados #4

Closed aureliowozhiak closed 11 months ago

aureliowozhiak commented 1 year ago

Criar super classe de conectores para extrair dados de bancos de dados, mas também criar as classes especificas, quando necessário para atender as peculiaridades (polimorfismo) de cada banco.

Primeiros bancos para desenvolver:

aureliowozhiak commented 1 year ago

Seria interessante criar um conector para o banco da Oracle

devbrunorm commented 1 year ago

Posso ver de criar uma classe para o MySQL

aureliowozhiak commented 1 year ago

Posso ver de criar uma classe para o MySQL

Boa, vai avisando se precisar de algo.

RVegh commented 1 year ago

To trabalhando na criação da do Postgres por enquanto, amanhã devo subir aqui pra revisarem. Pra agora será uma classe pra cada um desses bancos mesmo ?

aureliowozhiak commented 1 year ago

@RVegh isso, a ideia é ter uma classe pra cada, como um conector + executor de query (select), quando a gente tiver duas classes prontas a gente vai conseguir pensar em criar uma classe "pai" pra generalizar o que for igual.

devbrunorm commented 1 year ago

Pessoal, estive pensando esses dias e acho que para criar esses conectores seria legal usarmos o sqlalchemy. É uma lib que tem vários conectores de banco embutidos. Acho que isso simplificaria as coisas e evitaria de ficar fazendo muitos imports diferentes. O que acham?

aureliowozhiak commented 1 year ago

é uma boa @devbrunorm, adiciona pra gente no requirements.txt?

devbrunorm commented 1 year ago

Crio, sim. Assim que puder, eu coloco ela.

RVegh commented 1 year ago

Pessoal, estive pensando esses dias e acho que para criar esses conectores seria legal usarmos o sqlalchemy. É uma lib que tem vários conectores de banco embutidos. Acho que isso simplificaria as coisas e evitaria de ficar fazendo muitos imports diferentes. O que acham?

Eu estava criando usando o psycopg2, mas posso alterar se quiserem

aureliowozhiak commented 1 year ago

Pessoal, estive pensando esses dias e acho que para criar esses conectores seria legal usarmos o sqlalchemy. É uma lib que tem vários conectores de banco embutidos. Acho que isso simplificaria as coisas e evitaria de ficar fazendo muitos imports diferentes. O que acham?

Eu estava criando usando o psycopg2, mas posso alterar se quiserem

Seria bom normalizar em uma só, vamos usar a sugestão do Bruno, mas se quiser, deixa o código que vc fez comentado, para não perder seu trabalho tbm.

devbrunorm commented 1 year ago

Pior que eu também tinha começado em uma lib própria de MySQL. Depois que eu tive a ideia. Mas acho que é bom trocarmos agora que estamos no começo para evitar retrabalho no futuro

aureliowozhiak commented 1 year ago

claro, é bom a gente deixar essa base mais redonda possível mesmo.

aureliowozhiak commented 1 year ago

@devbrunorm acho que vc fechou a issue junto com o Merge

devbrunorm commented 1 year ago

Hmmm, talvez a issue estava vinculada a aquela branch

aureliowozhiak commented 1 year ago

Como falei no discord, vamos refatorar essa classe, pra tentar aumentar a manutentabilidade dela