Etablere pipeline i Azure Data Factory for månedlig* inkrementell lasting av kostdata fra Azure Cost Management til PostgreSQL database.
Bakgrunn
Vi har etablert eksport av kostdata til parquet-format og trenger nå å laste dette inkrementelt inn i en PostgreSQL database for videre analyse og rapportering.
Teknisk løsning
PostgreSQL Tabeller
[ ] Opprette kontrolltabell for å spore lastinger
[ ] Opprette måltabell for kostdata med nødvendige kolonner
[ ] Opprette loggtabell for pipeline kjøringer
[ ] Opprette stored procedures for datahåndtering
Azure Data Factory Pipeline
[ ] Opprette lookup aktivitet for å hente siste lastdato
[ ] Implementere copy aktivitet for å laste nye data
[ ] Legge til validering av data
[ ] Implementere oppdatering av kontrolltabell
[ ] Konfigurere månedlig trigger
[ ] Legge til feilhåndtering og logging
[ ] Sette opp e-post varsling ved feil
Tekniske Krav
Frekvens: Månedlig
Kilde: Parquet filer i storage account
Mål: PostgreSQL database
Logging: Alle pipeline kjøringer skal logges
Feilhåndtering: Automatisk retry og varsling
Sikkerhetskrav
Følge least privilege principle for tilganger
Sikker håndtering av tilkoblingsstrenger
Logging av alle endringer
Akseptansekriterier
Pipeline kjører automatisk månedlig
Kun nye/endrede data lastes
Fullstendig logging av alle operasjoner
Feilsituasjoner håndteres og varsles
Data valideres før lasting til måltabell
Dokumentasjon er oppdatert
*frekvens er ikke endelig bestemt
Additional Information
Vurdere behov for historikkhåndtering (SCD Type 2)
Description
Etablere pipeline i Azure Data Factory for månedlig* inkrementell lasting av kostdata fra Azure Cost Management til PostgreSQL database.
Bakgrunn
Vi har etablert eksport av kostdata til parquet-format og trenger nå å laste dette inkrementelt inn i en PostgreSQL database for videre analyse og rapportering.
Teknisk løsning
PostgreSQL Tabeller
Azure Data Factory Pipeline
Tekniske Krav
Sikkerhetskrav
Akseptansekriterier
*frekvens er ikke endelig bestemt
Additional Information