search

IDgis / geoportaal-test

Repository voor het registreren van issues van het Geoportaal project
0 stars 0 forks source link

Grote pdf's bij statische kaarten niet meer te downloaden #748

Closed gerardnienhuis closed 2 years ago

gerardnienhuis commented 3 years ago

het lijkt er op dat als er grote pdf's gekoppeld zijn aan de statische kaarten, deze door gebruikers niet meer te koppelen zijn. Bijvoorbeeld onderstaande pdf: deze is ongeveer 40 MB en het download lukt hiervan niet (duurt meer dan 2 minuten, komt vroeger of later foutmelding).

https://intern.geoportaaloverijssel.nl/attachment/4cd3756d-5e86-4170-9caa-a412c7a0b257/037_2008_Kansen_voor_akkerplanten_in_het_Overijsselse_IJsseldal.pdf

Dat is een pdf die is opgenomen bij de metadata van : https://intern.geoportaaloverijssel.nl/metadata/dc/4cd3756d-5e86-4170-9caa-a412c7a0b257

Mogelijk heeft dit te maken met de migratie de server bij IDGIS (december 2020). Hiervoor was het downloaden van grote (50 MB en meer) bestanden gewoon probleemloos mogelijk.

gerardnienhuis commented 3 years ago

Testbestand van 77 MB blijkt wel goed te gaan. Testbestand van 200 MB niet. Bestand koppelen kan wel, maar als je het wilt opslaan gaat het fout. Er komt nog ongeveer een halve minuut een melding:

Bad Gateway The proxy server received an ivalid respons from an upstream server.

nb: bij eerdere testen was het wel mogelijk om bestanden van meer dan 100 MB te uploaden en downloaden. Is er een beperking ingebouwd daarna? Wat is daarvan dan de grens?

NicoEilers commented 3 years ago

Een test gedaan met toevoegen van grote bestanden als bijlage aan statische kaarten bijlage van 154 mb wordt geaccepteerd bijlage van 182 mb wordt geaccepteerd bijlage van 250 mb geeft een foutmelding

SandroNeumann commented 2 years ago

De grens is bepaald aan de hand van deze property:

play.http.parser.maxDiskBuffer=205MB

Gaat het ook mis bij minder dan 205MB? Kennelijk lukt het met 182MB wel gezien bovenstaand commentaar?

gerardnienhuis commented 2 years ago

182 mb gaat goed kan de grens worden verhoogd naar 500MB? volgens mij hadden we dat oorspronkelijk wel bedoeld

SandroNeumann commented 2 years ago

Nee, we hebben afgesproken om het op 200MB te zetten. Zie: https://github.com/IDgis/geoportaal-test/issues/228#issuecomment-226412885

We kunnen het verhogen naar 500MB.

SandroNeumann commented 2 years ago

De interne max buffer zal verhoogd worden en het geheugen wordt verdubbeld. Dan kan ik een bestand van 500MB uploaden.

We moeten kijken of dat stabiel is. Anders moeten we het nog eens verhogen.

Ik had gehoopt dat we dit slimmer zouden kunnen aanpakken. Maar bij het opslaan in de database wordt toch uiteindelijk alles in het geheugen geladen.

gerardnienhuis commented 2 years ago

https://intern.geoportaaloverijssel.nl/attachment/4cd3756d-5e86-4170-9caa-a412c7a0b257/037_2008_Kansen_voor_akkerplanten_in_het_Overijsselse_IJsseldal.pdf kan nu probleemloos worden gedownload

gerardnienhuis commented 2 years ago

https://admin.geoportaaloverijssel.nl/metadata/9427f542-2ccb-42a7-a1eb-63d21c7a08c1 bestand van ongeveer 190 Mb gaat goed nu (is waarschijnlijk grootste bestand nu beschikbaar)

blijkt nu goed te werken, issue kan gesloten worden