knowit / Dataplattform

3 stars 3 forks source link

Lage rapport/tabell for akkumulert kompetanse data #528

Open torjohannessen opened 1 year ago

torjohannessen commented 1 year ago

Folk/Kompetanse timer ut og får ikke vist siden Både Folk/Kompetanse/Kompetansemengde og Folk/Kompetanse/Kompetanseområder har for mye data å prossesere etter at vi har fått inn større datamengder med 2022H catetegorier.

Lage en lambda funksjon som prosesserer mere tidligere Når vi henter inn data fra kompetansekartlegging bør vi kjøre en runde til slik at mere av datamengden blir ferdig tygd. Vi bør sette dette opp sik at vi enkelt kan hente ut data for hver catalog.

Beskriv eventuelle alternativer du har vurdert Konkret beskrivelse av alternativ løsning på problemet.

Ekstra beskrivelse Legg til ekstra informasjon som screenshots eller lignende.

LarsHenrik-knowit commented 1 year ago

Har undersøkt alternative implementasjoner da i min vurdering vil det å splitte opp lambda-funksjonen på kategori bare utsette problemet. Her mener jeg at lambda-funksjon blir feil bruk, da dette vil på sikt kunne bli en krevende prosess og den innebygde 15-minutter timeouten for en AWS lambda-funksjon vil potensielt bli et problem uansett.

Anbefaler å ta i bruk AWS Fargate https://docs.aws.amazon.com/AmazonECS/latest/developerguide/AWS_Fargate.html da denne ikke har like strenge ressurs regler, og har lengre timeout en vanlig lambda-funksjon