search

aureliowozhiak / DLaaS

Data Lake as a Service
23 stars 6 forks source link

Criar suporte a notificações #13

Closed aureliowozhiak closed 1 week ago

aureliowozhiak commented 1 year ago

Implementar um sistema de notificações por email, Slack ou outros canais para alertar os administradores sobre eventos importantes no Data Lake, como erros na ingestão de dados.

sidymar commented 1 year ago

Alguma idéia de usar Airflow no projeto para orquestrar as integrações? Se sim, ele tem operadores de notificações prontos

aureliowozhiak commented 1 year ago

a gente não pensou em usar airflow ainda, temos q ver como encaixar e se faz sentido e pensar em alternativas

lgcavalheiro commented 1 year ago

Não sei se teria muito a ver, mas uso essa lib em um projeto meu (https://github.com/lgcavalheiro/prihud) para notificações do Discord, ela também suporta outras plataformas:

https://github.com/caronc/apprise

sidymar commented 1 year ago

Boa @lgcavalheiro minha pergunta foi no sentido de, imagino que a idéia é q as cargas sejam scheduladas e já teria a nofiticação de falha durante a execução, mas essa lib é bem bacana, não usei, mas me parece bem legal

aureliowozhiak commented 1 year ago

Talvez faça mais sentido pensar antes em como schedular as cargas, e daí nesse processo implementar as notificações. A ideia do airflow é boa, mas seria interessante a galera desenvolver alguma solução pra esse gerenciamento das cargas

salles95 commented 11 months ago

Boa noite pessoal,

Posso puxar essa issue? Pensei em criar uma classe para trabalhar com as notificações podendo schedular e escolher quais seriam as cargas, no primeiro momento. Em seguida criar as conexões com o Slack no primeiro momento (ou alguma outra se acharem mais interessante)

aureliowozhiak commented 11 months ago

Boa noite pessoal,

Posso puxar essa issue? Pensei em criar uma classe para trabalhar com as notificações podendo schedular e escolher quais seriam as cargas, no primeiro momento. Em seguida criar as conexões com o Slack no primeiro momento (ou alguma outra se acharem mais interessante)

claro @salles95 qualquer duvida é só avisar ai, acho bom criar alguma conexão com Discord

RobertLeone commented 9 months ago

Só complementando, é possível criar um canal no Discord e habilitar o webhook nele, ai basta enviar a notificação para o endpoint fazendo um POST

aureliowozhiak commented 9 months ago

@RobertLeone cara, podemos conversar sobre isso, vc consegue implementar um modulo pra fazer esse POST? Dai eu crio o canal aqui