NL-AMS-LOCGOV / zaakafhandelcomponent

This repo contains the code of the "zaakafhandel" component developed by Atos.
Other
9 stars 5 forks source link

Impact van documenten op performance van ZAC #1007

Open RoyBuis opened 2 years ago

RoyBuis commented 2 years ago

Als functioneel beheerder

Wil ik inzicht in de toegestane bestandsgrootte en -typen van documenten die aan het ZAC toegevoegd kunnen worden

Zodat de impact op performance van de applicatie kan inschatten


Acceptance criteria:

-


Prioriteit

Verwijder wat niet van toepassing is:


Gerealiseerd

Omschrijving van de op te leveren functionaliteit in deze story

Belangrijkste functionaliteiten:

RoyBuis commented 2 years ago

Te realiseren

- Plan maken om performance te testen

Huidige limieten: export const AppGlobals = Object.freeze({ FILE_MAX_SIZE: 20, // 20mb ALLOWED_FILETYPES: '.pdf,.doc,.docx,.xls,.xlsx,.ppt,.pptx,.vsd,.png,.gif,.jpg,.jpeg,.txt,.bmp,.odt,.rtf' });

andyverberne commented 2 years ago

https://cloudblue.freshdesk.com/support/solutions/articles/44001881891-post-request-fails-connection-terminated-as-request-was-larger-than-10485760

http://www.mastertheboss.com/web/jboss-web-server/configuring-max-post-size-in-wildfly/

andyverberne commented 2 years ago

Cluster -> 100Mb --> Caused by: java.lang.OutOfMemoryError: Java heap space

Local --> 500Mb -> ESTEASY004655: Unable to invoke request: javax.ws.rs.ProcessingException: RESTEASY008205: JSON Binding serialization error java.lang.OutOfMemoryError: Java heap space

andyverberne commented 2 years ago

Max staat nu op 80MB

andyverberne commented 2 years ago

PDF van 80Mb is zichtbaar in PDFA preview

HilbrandHurtak commented 1 year ago

Getest met 80 MB bestand op de acc. Uploaden gaat goed, wegschrijven geeft deze fout image.png

Op zandbak ging het wel goed image.png

De huidige e-Suite kan bestanden tot 500 mb uploaden. Voor de omgevingswet zal dat max 300 MB moeten zijn.

@RoyBuis of @robertverboom zouden we de grens van 300 MB kunnen opzoeken bij de upload van documenten in ZAC zandbak (zou tijdelijk kunnen en daarna weer terug naar 80 MB

HilbrandHurtak commented 1 year ago

Kan geen 80 MB bewaren op de acc. Tevens is de huidige e-Suite grens 500MB. Vor de omgevingswet moeten documenten tot 300 MB via de keten kunnen worden toegevoegd .

robertverboom commented 1 year ago

Refinement KM & RV:

Dit kan pas opgelost worden als de omgeving bij SSC staat. Dan moet de maximale grootte ingesteld worden op 300MB en gecontroleerd worden of dit mag van het 'cluster'

HilbrandHurtak commented 1 year ago

@KarinMasselink Wil jij dit ticket dan meenemen naar PodiumD. Ik kan nu niets testen

KarinMasselink commented 1 year ago

@HilbrandHurtak heb hem bewust laten staan omdat dit in ZAC ingeregeld moet worden, lees voor de volgende partij. Vanmorgen met Robert besproken, moet naar to do later.

HilbrandHurtak commented 1 year ago

@KarinMasselink Dan verschuiven naar ToDO Later?

robertverboom commented 1 year ago

@KarinMasselink De huidige implementatie van het documentregistratiecomponent DRC, biedt niet de functionaliteit voor streaming en is daarom gelimiteerd op 80MB. De nieuwe documenten API biedt dit wel aan. Maar dan moeten wij ook wat aanpassen om dit te implementeren. Ik weet ook niet of OZ dit ook al geïmplementeerd heeft en of wij er dan al wat mee kunnen.

HilbrandHurtak commented 1 year ago

@KarinMasselink . Streaming is randvoorwaardelijk. Binnen Mijn Groningen werkt dit al. Een groot bestand (300MB) uit de e-Suite wordt netjes in Mijn Groningen getoond (Aangesloten via de API) . Het lijkt me logisch dat PodiumD Zaak gewoon gebruik gaat maken van de beschikbare API's.