knowit / Dataplattform

3 stars 3 forks source link

Dataplatform lambda som henter kompetansekartlegging data henter ikke ferske data #525

Closed torjohannessen closed 1 year ago

torjohannessen commented 1 year ago

Det ser ut til at lambda funksjon som henter data fra kompetansekartlegging ikek henter nye kataloger eller nye svar. Ser ut til at det ikke er noen log fra lambda funksjonen, men det er noe som ikke gir oppdaterte data.

kjell-r commented 1 year ago

I prod-miljøet ser det ut til at ingest går okay, og at process plukker opp fra sqs og så timer ut på 200ish sekunder. Jeg prøvde å endre timeout på kompetansekartlegging process manuelt, og da kommer det nye data i s3-bucket. Det må da trolig sjekkes inn en kode-endring i serverless.yml for kompetansekartlegging, for eksempel endre timeout til 420:

custom: editable: timeout: 200 srcDir: lib/kompetansekartlegging ingestHandlerFile: kompetansekartlegging_ingest_lambda processHandlerFile: kompetansekartlegging_process_lambda databaseName: level_3 description: data from kompetansekartlegging-API scheduleRate: rate(7 days) accessLevel: level-3 dataFolder: kompetansekartlegging