[Mandalorian] Performance optimering på aggregeringer (Timeboxed)

[MadsBloendAndersen]

Timebox: 2 Sprints

Synopsis

Som mandalorian vil vi forsøge at komme så tæt som muligt på at køre en aggregering for netområdet radius (791) for perioden 1 dec - 11 dec 2022 på 10 minutter, inden for den angivne timebox. for at kunne leve op til markeds krav.

Accept criteria

• [ ] Resultatet af den manuelle performance test bliver kontinuerligt opdateret og dokumenteret i confluence.
• [ ] Performance optimering er blevet holdt op imod cost. Vi har fudnet ud af hvad det må koste.
• [ ] Vi vil undersøge følgende tre kategorier for performance optimeringer
• Software
• Hardware / Infrastruktur
• Data
• [ ] Undersøg hvordan performance ser ud når man kører for flere end ét netområde og dokumentér i confluence.
• [ ] Initiativer til kompetence opbygning er faciliteret i løbet af featuren.
• [ ] Vi kommer så tæt på at køre en aggregering for netområdet radius (791) for perioden 1 dec - 11 dec 2022 på 10 minutter 98% af tiden, indenfor den angivne timebox.

Note:

Milø: B-001 Joachim Hoffmann kender en fyr fra fellowmind, som også godt kunne give noget god sparring, ift. performance optimering (Synapse).

Benchmark fra Datahub 2

Oversigt over kørselstider. Denne feature tager kun udgangspunkt i beregningsdelen:

Private Zenhub Image

Events vi skal have i kalenderen:

• Spark UI en times session @cenh-halfspace kalder ind (Onsdag)
• 1 hel dags workshop (Onsite): Oplæring i spark UI, Indkørring i wholesale @BjarkeMeier

[BjarkeMeier]

(Følgende var fejlagtigt placeret på anden feature - svarene er fra @MadsBloendAndersen) Spørgsmål:

1. Har vi et preprod miljø, når vi går i gang med denne epic? (Hvad hedder det i givet fald?) Nej, ikke umiddebart. [..] Når preprod miljøet er klar, vil vi då deploye derudtil
2. Hvilke data er der på preprod miljøet? Testdata som einstein har lavet, som vi læser direkte ind i vores guld tabeller
3. Hvor lang tid må der gå fra en beregning er færdig til aktørerne kan peeke resultaterne? Vi skal leve op til de performance krav som beskrevet i featuren om performance. Dog uden performance på publisering
4. Hvad er forventningen til hvor korrekte beregningerne er? Til og starte med er det bare at teste at aktørene kan modtag en RSM-014 i det ønskede format, Så der er ikke så høje forventninger

[MadsBloendAndersen]

@BjarkeMeier + @JesperGomes + @johevemi Vil i sætte jer sammen og lave en foreløbelig plan for hvordan vi starter denne feature? Det kunne være fedt hvis det kunne være klar til næste backlog refinement.