IDgis / ODRU

Werkzaamheden voor ODRU
0 stars 0 forks source link

verplaatsen tiles van luchtfoto's #91

Closed MaartenJansen closed 5 years ago

MaartenJansen commented 6 years ago

Dag Herman,

Twee vraagjes voor het verplaatsen van de tiles van luchtfoto's. Ik heb een paar nieuwe foto's vertegeld, de tiles staan op ons netwerk.

  1. Bij het transferren via WinSCP krijg ik deze meldingen (de 1e vrij vaak, de 2e heel soms): winscp_os_function_failed winscp_os_function_failed2 Ik heb de vinkjes paar keer gewijzigd bij de Preferences->Endurance->Disable/Enable transfer resume->All files. Mogelijk gaat er iets mis met tijdelijke opslagfiles. Maar dit hielp niet. Weten jullie waar dit aan zou kunnen liggen? Retry per tile helpt, maar er is helaas geen 'Retry to all' optie als de bovenste melding verschijnt :(

  2. Hebben jullie een snelle verbinding met onze testserver? Als we hier tiles uploaden, halen we max. 10 MB/sec. Op zich behoorlijk snel, maar met een vertegelde luchtfoto van 40GB of groter nog een hele klus. Ook lastig omdat we hier moeilijk een paar dagen een pc kunnen laten uploaden (ivm weinig beschikbare werkplekken). Een optie zou zijn dat wij een sharepoint realiseren (ook handig voor uitwisselen nieuwe foto's met gemeente). Als jullie een snellere verbinding hebben, zouden jullie de tiles kunnen verplaatsen naar de testserver. Maar allemaal wel een omweg :)

Grt, Maarten

HermanAssink commented 6 years ago

Dag Maarten, Onze verbinding is vergelijkbaar, 100Mbit/sec. Ik denk dat je deze fouten niet meer zult hebben als je de mappen met tiles eerst in één zip bestand samenvoegt, die zip naar de testerver kopieert en vervolgens op de testserver weer uitpakt. We hebben diverse keren bestanden van die omvang (40GB) van kantoor naar de servers bij onze provider gekopieerd. Voor het zippen en unzippen zou ik 7zip gebruiken omdat dit snel werkt en met willekeurig diepe boomstructuur kan werken. We kunnen er wel voor zorgen dat de 7zip command-line beschikbaar is op de testserver.

MaartenJansen commented 6 years ago

Ja dat is goed. Ik heb hier intern ook balletje opgegooid bij ICT om te kijken of we de tiles zelf niet kunnen hosten via een server. We willen liever extern hosten, maar verplaatsen duurt iedere keer zo lang. Maar goede tip om te zippen! Sowieso wel goed om 7zip op de testserver werkend te hebben voor grotere bestanden. Dat mag sowieso al wel.

HermanAssink commented 6 years ago

7zip is geïnstalleerd op de testserver. Het commando is 7z, bijv. 7z x luchtfotos.z7

MaartenJansen commented 6 years ago

Herman, als we hier de gehele bunch tiles gezipt verplaatsen, duurt dat even. Weet jij of er structureel herstarts gepland staan op de testserver? Ik zie af en toe een melding in Putty hiervan. Ivm wegvallen Putty bij verplaatsen zip-bestand, even plannen dat het niet valt onder een herstart.

HermanAssink commented 6 years ago

De herstarts zijn niet regelmatig, alleen als er een security update is waarvoor een herstart nodig is. Een herstart hoeft geen probleem te zijn omdat WinSCP een kopieeractie weer oppakt waar die is afgebroken.