[DM] Producer: Data Quality

[thiagoamorimzup]

• Licença para operar: https://docs.google.com/spreadsheets/d/1UaYAMQ8_MoIhGTWLBztZLW2F6f0InpngHnFUPpsORuI/edit#gid=1679873494

• Ler pesquisa Monte Carlo: https://resources.montecarlodata.com/c/data-quality-survey-1?x=fP0c5d&_gl=1*oomnkx*_ga*MzkxODcwMDg4LjE2ODcyMDYyNzQ.*_ga_SZGJ8KW5Z8*MTY5MjE5NTA2OC4xNS4xLjE2OTIxOTUxODkuNjAuMC4w&_ga=2.112223110.368277381.1692195068-391870088.1687206274

• Reavaliar prioridade de requisitos

• Avaliar aceleradores Open Source para implementação de produto Premium Multi-cloud

• [x] Avaliar PyDeque

• [x] Avaliar Great Expectations

• [X] Criar POC das ferramentas

• [x] Comparativo PyDeque x Great Expectations

• [x] Desenho de Solução C3/C4

• [x] Roadmap

[luizcarloszup]

Roadmap: => Script GreatExpectations - Pacote Core via console 22/09/ Criação Biblioteca Python stackspotdq CoreQuality Rules Unicidade Inputs Source AWS Target Destination aws Criptografia Binario C

=> Script GreatExpectations - Pacote Rules 29/09 CoreQuality Rules(A definir)

=> Desenvolvimento Stack DataQuality 06/09

• Desenvolvimento Plugin Infra DataQuality 06/09 Job Glue Schedule Event Workflow table Upload Rules Geração Pacote com Binario C

=> Desenvolvimento Api Manager 20/09 Api Workflow Api Starter

=> Desenvolvimento Notificação SNS 03/10 => Desenvolvimento Api Get de DataQuality 03/10

Backlog:

• Desenvolvimento Dash de DataQuality - Em Analise

[thiagoamorimzup]

Arquitetura:

https://app.diagrams.net/#G14aAstI9dlve9EFRBkA0_QdCuIr462OjG