search

IDgis / ODRU

Werkzaamheden voor ODRU
0 stars 0 forks source link

Interesse in ECW hosting i.p.v. conversie naar tileset? #21

Closed HermanAssink closed 6 years ago

HermanAssink commented 9 years ago

@ODRU: Beste Maarten, Tot nu toe converteren jullie ECW luchtfoto's naar een tileset om die luchtfoto's in het Geoloket te ontsluiten. Technisch is het echter ook mogelijk om de ECW bestanden zonder conversie als WMS, WMTS en eventueel TMS service aan te bieden. Daarvoor is echter een ECW server licentie nodig. Omdat IDgis met enige regelmaat de vraag krijgt om ECW bestanden als WMS/WMTS service te hosten, overweeg ik zo'n ECW server licentie aan te schaffen en als IDgis hosting van ECW bestanden te gaan aanbieden. Voor ODRU heeft dat het voordeel dat conversie van ECW naar tiles niet meer nodig is. Rekening houdend met aantal en omvang van ECW bestanden van ODRU zit ik voor ODRU te denken aan een bedrag van € x,y per maand. Wat denk je, gaat ODRU overstappen op ECW hosting door IDgis bij dit aanbod? Groeten, Herman

johnruijer commented 9 years ago

Dag Herman,

Omdat Maarten nog op vakantie is en ik dit ook wel interessant vind, reageer ik nu even.

Het doel van het vertegelen was volgens mij om op een hoger zoomlevel ook snel de luchtfoto opgebouwd te krijgen, omdat in eerste instantie die tegels worden geladen die ook binnen je beeld vallen. Bij het pannen (verschuiven) van je beeld worden de naastgelegen tegels dan ook eerder geladen.

Als wij straks niet meer vertegelen en mede gebruik gaan maken van die ECW-server, houden we die voordelen dan nog wel of wordt de laadtijd dan weer langer en gaat het pannen ook trager? Binnenkort zullen de ECW-foto's overigens alleen op de nog in te richten interne omgeving komen te staan (achter een beveiliging). Maar het vertegelen kost wel veel tijd en als we dat voor circa 15 luchtfoto's niet meer hoeven te doen, dan scheelt dat toch wel de nodige uurtjes op jaarbasis. De kosten voor die ECW-server komen op € x,y- , maar de tijd die je bespaart door niet te hoeven vertegelen compenseert dit bedrag volgens mij wel.

Kortom, ik ben wel positief hierover. Scheelt ook nog eens aardig wat opslagruimte want een vertegelde foto vraagt (veel) meer dan een ECW-bestand.

Zijn er wellicht referenties die we kunnen bekijken om te zien of en hoe het werkt? Groet, John

HermanAssink commented 9 years ago

Dag John,

Het voordeel van de snellere werking van vertegelde luchtfoto's heb je ook met ECW met het WMTS protocol (dat door Geoide wordt ondersteund).

IDgis heeft de luchtfoto's voor provincies ontwikkeld. Daarbij wordt ook gebruik gemaakt van ECW (ECW licentie is eigendom van IPO). Je kunt deze foto's met deze url bekijken: gbo-lufo-acc.idgis.nl/lufo/openlayers.html Met het + teken rechtsboven kun je de legenda uitklappen. De foto's worden aangeboden met het WMTS en WMS protocol. BIj WMTS wordt er met tiles gewerkt. WMS wordt aangeboeden voor viewers die geen WMTS ondersteunen. Groeten, Herman

johnruijer commented 9 years ago

Dag Herman,

Dat ziet er inderdaad goed uit. Ik word al enthousiaster :-) Maarten is er morgen weer zie ik, dus dan zal ik het wel met hem bespreken.

Bedankt zover. Groet, John

MaartenJansen commented 9 years ago

Dag Herman,

Wij zien er zeker voordeel van in. Dus wij willen graag overstappen op deze methode. Nu wij 'ja' zeggen, hoe snel denken jullie dit te kunnen aanschaffen? Of hangt het nog van meer partijen af? Scheelt ons ook weer vertegelwerk van recente nieuwe luchtfoto's en voorkomt mogelijk ruimteprobleem van de vele MB's van de tiles. De vraag waar we de luchtfotobestanden plaatsen staat ook nog open in een andere discussie (issue #8 ), aangezien we een aparte context aan het maken zijn voor intern gebruik (op zowel test als publiek), met luchtfoto's. Aangezien we geen koppelingen willen tussen test en publiek, zullen de luchtfotobestanden zowel op test- als publieke server geplaatst moeten worden. Waar worden de luchtfoto-/ecw-bestanden dan geplaatst met een ECW server licentie?

Grt, Maarten/John

johnruijer commented 9 years ago

Dag Herman,

Dit issue staat ook nog open. Kun je al een antwoord geven op de vragen van Maarten hierboven? Willen jullie 'die ECW-server licentie aanschaffen? Zijn er meer geïnteresseerden naast ons? Dat maakt het voor jullie natuurlijk ook interessanter.

Wij horen het graag! Groet, John

HermanAssink commented 9 years ago

Dag John, Ik moet dit nog even navragen bij een andere klant. Als zij ook meedoen dan gaat het door wat mij betreft. Ik hoop hier eind volgende week meer over te kunnen zeggen. Groeten, Herman

HermanAssink commented 8 years ago

John, Hoeveel ECW bestanden zou je willen laten hosten door IDgis en hoeveel GB's zijn deze samen?

johnruijer commented 8 years ago

Hoi Herman,

Ik heb even gekeken naar de meest actuele luchtfoto's van al onze gemeenten, waarbij alleen Montfoort nog steeds ontbreekt. Zonder Montfoort is dit bijna 77 Gb. De luchtfoto's zullen in de toekomst natuurlijk steeds worden ververst en dat zou zomaar gepaard kunnen gaan met groter wordende bestanden.

Ik zou in ieder geval minimaal 100 Gb willen rekenen, maar ik houd niet zo van al te strakke kleding, dus een iets ruimere broek zit wel lekkerder ;-)
Let wel, dit zijn onvertegelde luchtfoto's, want ik ga er van uit dat die vertegeling dan niet meer nodig is. Als dat nog wel moet, dan wordt het plaatje anders.

Groet, John

HermanAssink commented 8 years ago

Hallo John,

Dank voor de snelle reactie. De hosting van ECW bestanden als WMS en WMTS service kan ik aanbieden voor de prijs van € x.y per GB per maand. Voordeel voor ODRU is dat de ECW bestanden niet meer "vertegeld" hoeven te worden. De services kunnen eventueel ook door de gemeenten zelf worden gebruikt. Zo nodig kunnen we services beveiligen zodat ze alleen door bepaalde IP-adressen geraadpleegd kunnen worden. Is dit een aanbieding waar ODRU op in zou willen gaan?

Groeten,

Herman Assink

HermanAssink commented 8 years ago

Beste @johnruijer , @MaartenJansen ,

Wat vinden jullie van mijn aanbod van 17 maart jl?

Groeten,

Herman Assink

johnruijer commented 8 years ago

Dag Herman,

Hier is intern al wel over gesproken, maar volgens mij nog niet met de mensen die over het budget gaan. Nu beslaan alle lufo's ca. 80 Gb, maar omdat de kwaliteit steeds beter wordt en de bestanden dus ook wat groter kunnen wij het beste uitgaan van 100 Gb aan data voor ons werkgebied. Dan komen we dus uit op 100 euro per maand = 1.200 euro per jaar.

En dan is vertegelen niet meer nodig en komen de lufo's ook nog snel genoeg in beeld. Zijn er dan nog kosten verbonden aan het eenmalig inrichten van die WMS/WMTS service? Of is dat zo weinig dat dat van de strippenkaart kan? Werkt deze service ook al bij andere klanten waar wij even kunnen kijken op de viewer?

@Maarten, Nancy is nog best lang op vakantie, maar zullen wij dit morgen even met Gonneke bespreken?

@Herman, kun jij voor morgen dan bovenstaande vragen nog beantwoorden?

Groet, John

HermanAssink commented 8 years ago

Dag John, e.a.

Nee, er zijn geen eenmalige kosten verbonden aan het inrichten van de WMTS/WMS service.

Op dit moment hosten we een vergelijkbare service met luchtfoto's van heel Nederland voor de provincies. Dit is een eenvoudige viewer waarmee je de luchtfoto's kunt bekijken. Met het +-teken rechtsboven kun je de layercontrol open klikken.

Groeten, Herman

MaartenJansen commented 8 years ago

Dag Herman,

We gaan dit intern bespreken. Dit betekent dat jullie voor ons de luchtfoto's die wij krijgen van de gemeenten vertegelen (evt clippen op gemeentegrens) en opslaan? Hoe we die foto's bij jullie krijgen zien we dan later wel.

Grt, Maarten/John/Nancy.

HermanAssink commented 8 years ago

Dag Maarten, Bij het gebruik van ECW is geen tiling/vertegelen nodig. De WMTS (tile) service op basis van ECW is in staat om runtime / op aanvraag tiles te maken. Is dat clippen op de gemeentegrens nodig? Ik wacht jullie reactie af. Groeten, Herman

MaartenJansen commented 8 years ago

Nee ik denk van niet. Die witte randen ontstonden met tilen, zou dat nu ook nog kunnen ontstaan? Er is nu toch geen tiling nodig? Ik laat Gonneke spoedig contact met je opnemen. Grt, Maarten

Gonneke commented 8 years ago

Hoi Herman,

Ik heb nog een paar vragen:

Gr. Gonneke

HermanAssink commented 8 years ago

Hallo Gonneke, Hierbij puntsgewijs de antwoorden:

Hopelijk geeft dit voldoende verduidelijking, anders verneem ik het graag. Groeten, Herman

MaartenJansen commented 8 years ago

Dag Herman,

Er is hier financieel akkoord voor het inrichten van WM(T)S-service voor ons. Het afgesproken bedrag is 1.500 euro, ex BTW. Ik weet niet precies of dat met jou is afgestemd (hoeveel GB dat precies is omgerekend), ivm vakanties van collega's is dat hier niet lekker afgestemd. Maar daar heb ik toestemming voor gekregen.

Je kunt de factuur tzt sturen naar ons adres: Omgevingsdienst regio Utrecht, tav Financiële Administratie, Postbus 13101, 3507 LC Utrecht Of digitaal via facturen@odru.nl. Graag vermelden dat het gaat om 'contract luchtfoto's voor Geoloket'.

Heb ik tot slot nog een paar vervolgvragen:

  1. Hoe nu verder? Kunnen jullie de WMTS-service nu inrichten met onze huidige tiles die op de testserver staan of willen jullie ecw-bestanden hebben?
  2. Hoe willen jullie toekomstige luchtfoto's aangeleverd hebben? Wij krijgen ecw-bestanden van gemeenten, denk dat we die gewoon paar keer per jaar moeten uitwisselen als we bij elkaar komen. Is dat ok?
  3. Witte randen zijn voor ons wel belangrijk, hopelijk kunnen jullie daar een oplossing voor vinden, als dat nog speelt. Sommige foto's vallen precies binnen gemeentegrens, sommige beslaan groter gebied.
  4. Heb je een planning van de oplevering van de WMTS-service (moment dat we hem via Author kunnen toevoegen aan Geoloket)? Of heb je daar nog wat voor nodig van ons?
  5. Ik wil hier intern mogelijkheid bespreken om de wmts-link van onze luchtfoto's in de toekomst ook voor ArcGis en mogelijk voor Squit (intern) te gaan gebruiken. Mogelijk wordt de link, vooral via Squit, dan veel meer belast (opgeroepen). Is dat qua belasting geen probleem? Gebruik in ArcGis zal heel sporadisch zijn, aangezien de link daar zelf moet worden toegevoegd. In Squit komt hij dan mogelijk vast als link in het geometriepaneel.

Grt, Maarten

HermanAssink commented 8 years ago

Hallo Maarten, Ik ben vanaf vandaag tot 8 augustus met vakantie. Andere collega's zijn ook weg of druk. Is het goed dat ik dit na mijn vakantie oppak? Groeten, Herman

MaartenJansen commented 8 years ago

Ja prima, fijne vakantie! Maken we daarna wel afspraak voor de 'upgrade' van het Geoloket.

Grt, Maarten

HermanAssink commented 8 years ago

Hallo Maarten, Klopt het dat de ECW bestanden niet op de testserver staan? Wil je die er naartoe kopiëren? Groeten, Herman

MaartenJansen commented 8 years ago

Nee dat klopt, daar staan alleen de tiles. @johnruijer , hoe gaan we de ecw-bestanden verplaatsen naar de testserver? Ik heb het woordje 'snel' maar weggelaten ;)

johnruijer commented 8 years ago

Tja, goeie vraag. Alles over dat lijntje gooien duurt volgens mij weken. Dus dat lijkt mij niet slim met kans op verstoringen, slaapstand en weet ik wat nog meer.

Mijn idee zou zijn om een externe harde schijf naar IDGIS op te sturen in de hoop dat zij het zelf sneller kunnen. Maar we kunnen natuurlijk ook eerst een test doen met kleine ECW's, zoals van Rhenen en Renswoude.

HermanAssink commented 8 years ago

John, Ja, een harddisk opsturen is waarschijnlijk sneller. Dat moeten wij alsnog de ecw's naar de server uploaden, maar wij hebben wel een stabiele en snelle internetverbinding.

HermanAssink commented 8 years ago

Is het voldoende om alleen de meest recente versie van iedere gemeente te kopiëren? Dit is ca. 80 GB. Inclusief de oudere versies is het ca. 192 GB. Zoals eerder gemeld is de prijs naar rato van de benodigde opslagcapaciteit.

MaartenJansen commented 8 years ago

Ja hoor, dat is voldoende voorlopig.

HermanAssink commented 8 years ago

Maarten, De ecw's zijn geladen. De url van de WMS is: http://odru.ecw-hosting.nl/lufo/services? en van de WMTS: http://odru.ecw-hosting.nl/lufo/services/wmts?request=GetCapabilities&service=WMTS Alle luchtfoto's zijn in eén laag gecombineerd. Tussen sommige gemeenten zitten witte stroken. Dit komt vermoedelijk doordat in de ecw van één van de twee (of beide) gemeenten een witte rand langs de luchtfoto zit. Ik zal intern overleggen of hier een oplossing voor is. Groeten, Herman

johnruijer commented 8 years ago

Hallo Herman, Dit issue laat ik nog even open, omdat het nog speelt en gewijzigd wordt.

Vanmorgen is afgesproken dat jullie per gemeente-luchtfoto een aparte URL voor de WMS gaan aanmaken. De gebruiker zal namelijk (bijna) altijd de foto van één gemeente willen laden en zelden meerdere foto's tegelijk. De gebruiker wil dan wel kunnen zien in welk jaar de foto is gemaakt en daar hebben we het vanmorgen nog niet over gehad. Op ons Geoloket is dat ook te zien.

Kunnen jullie dat ook nog meenemen in de benaming van de layer? Dus bv: Luchtfoto

Groet, John

johnruijer commented 8 years ago

Huh? Die laatste zin komt niet goed door, waarschijnlijk door de tekens die ik plaatste (groter- en kleiner-dan-teken).

Ik bedoelde te zeggen: Luchtfoto [gemeente] [jaartal]

HermanAssink commented 8 years ago

In de WMS en WMTS zijn er nu lagen per gemeente. De url van de WMS is: http://odru.ecw-hosting.nl/lufo/services? en van de WMTS: http://odru.ecw-hosting.nl/lufo/services/wmts?request=GetCapabilities&service=WMTS

johnruijer commented 8 years ago

Dag Herman,

Mooi dat het nu per gemeente is ingesteld en dat de titel info geeft over het jaar van de foto. Als ik via de WMS-link bv. Wijk bij Duurstede laadt, dan komt de foto in beeld, maar met daar omheen één groot wit vlak. Dat is niet prettig werken voor de gemiddelde gebruiker vrees ik. Als we dat zo laten krijgen we veel commentaar. Is daar nog iets aan te doen? Als ik de WMTS-link invoer en de layers wil opvragen, dan krijg ik een foutmelding:

error;method: nl.idgis.giclient.gui.context.AddLayer::onConnectorFail;line: 184

Enig idee? Omdat veel luchtfoto's inmiddels al weer een aantal jaren oud zijn, zijn we begonnen om zoveel mogelijk nieuwe foto's te verkrijgen. Ik verwacht ergens eind november dat we er flink wat hebben. Dan kijken we wel hoe we die weer bij jullie kunnen krijgen.

Groet, John

johnruijer commented 8 years ago

Oh, nog even over die foutmelding. De link in jouw comment hierboven voor WMTS leek mij niet juist, dus ik heb alles vanaf de rechter zijde tot het vraagteken verwijderd. Overigens geeft jouw link ook dezelfde foutmelding.

HermanAssink commented 8 years ago

@copierrj Reijer, wil je nagaan welke programmatechnische mogelijkheden er zijn om de witte randen weg te halen?

johnruijer commented 8 years ago

Herman, ik ben wel benieuwd of jullie nog een oplossing hebben gevonden voor die witte randen. Ik ben intussen bezig om van zoveel mogelijk gemeenten de nieuwste luchtfoto te krijgen, omdat de meest recente van gemeentes doorgaans al weer flink verouderd waren.

Groet, John

HermanAssink commented 7 years ago

John, Voor die witte randen heb ik oppervlakkig onderzoek gedaan. Het is niet niet eenvoudig op te lossen door de configuratie aan te passen, bijvoorbeeld door witte-/achtergrondkleur transparant te tekenen. We moeten diep in de broncode van deegree duiken om te onderzoeken of dit is op te lossen. @copierrj Wil jij in deegree duiken om te zien of we dit kunnen oplossen?

HermanAssink commented 7 years ago

John, Er is een fix in de viewer gedaan waardoor nu de WMTS service, die met tiles werkt, het doet in de viewer. Het probleem met de witte randen komen we volgende week aan toe.

HermanAssink commented 7 years ago

Hallo John, De witte randen worden veroorzaakt doordat het ECW-bestand buiten de luchtfoto wit is. Dat zou transparant moeten zijn. De programmatuur heeft namelijk geen probleem om overlappende ECW's goed weer te geven, mits het nodata-gebied transparant is. Kun je regelen dat het nodata-gebied in de nieuwe ECW's transparant wordt?

Gonneke commented 7 years ago

Hoi Herman, ik heb gisteren tijdens teamoverleg de luchtfoto gezien. Door die witte randen is het onbruikbaar. In de aanloop van dit project waren de witte randen al een issue. En we hebben toen aangegeven dat een oplossing hiervoor belangrijk voor ons was. Je zou een test doen als we serieus geïnteresseerd waren. Is dat eigenlijk gebeurd? Of is de huidige oplevering de test? De voorgestelde oplossing van transparantie in het nodata-gebied is niet eenvoudig door ons te leveren. Maar daarnaast vraag ik me af of het gaat helpen. Want het nodata-gebied houdt niet op bij de gemeentegrens. Krijg je dan geen overlap van foto's? En levert dat geen problemen? Gr. Gonneke

johnruijer commented 7 years ago

Herman, een andere optie is misschien om de ECW's eerst te clippen op de gemeentegrens voordat we ze naar jullie sturen. Vroeger hadden jullie een script gemaakt om ECW te clippen. Dat moest volgens mij na het vertegelen gebeuren. Werkt het script ook op een onvertegelde luchtfoto? Intussen zoeken wij ook naar andere clipmogelijkheden en/of het transparant maken van de nodata-gebieden.

Groet, John

HermanAssink commented 7 years ago

Beschikken jullie over een FME licentie? Daarmee zou de ECW geclipt kunnen worden. Zo niet, dan kunnen we misschien bij het tekenen door WMS ervoor zorgen dat de witte randen worden "weggeclipt".

johnruijer commented 7 years ago

Nee, die zie ik er niet tussen staan, dus die hebben we niet. Zal ook wel weer een flinke duit geld kosten. Even afwachten wat de andere kanalen opleveren. Ik ben bang dat die ook over die extentie beginnen. Maar dat oude script van jullie werkt dus niet op een onvertegelde ECW? Begrijp ik dat goed?

HermanAssink commented 7 years ago

Voor dit script wordt GDAL gebruikt, maar GDAL kan geen ECW schrijven zonder de benodigde licentie.

HermanAssink commented 7 years ago

Hallo John, Heb je misschien nog de shapefiles met de gemeentegrens van de verschillende gemeenten die je destijds hebt gebruikt om de witte randen weg te knippen bij het maken van de tileset? We hebben een manier om de witte randen uit de ECW te knippen waarvoor we deze grenzen nodig hebben. Ik ga er overigens vanuit dat bij nieuwe ECW's die witte randen niet meer voor zullen komen. De gemeente moet een ECW zonder witte randen kunnen leveren. Groeten, Herman

johnruijer commented 7 years ago

gemeentegrenzen 2016.zip

johnruijer commented 7 years ago

Dag Herman,

We gaan weer verder met dit issue. Ik heb contact gehad met ESRI over het clippen van de ECW en het transparant maken van de witte rand. Beiden is gelukt, maar het resultaat kan dan helaas niet worden teruggezet naar ECW-formaat. Alleen TIFF volgens mij, maar dan ben je die zoomlevelinformatie waarschijnlijk kwijt en wordt de luchtfoto (in TIFF) op een gegeven moment onscherp. Zijn jullie nog verder gekomen met dat clippen met de gemeentegrenzen die ik je stuurde? Het moet natuurlijk wel een werkbare situatie blijven, voor jullie en voor ons. Als die witte randen en wegvallende informatie rond de grens niet kan worden opgelost, dan heeft die ECW-licentie voor ons geen toegevoegde waarde. Dan wordt het weer ouderwets tilen en clippen vrees ik.

Groet, John

HermanAssink commented 7 years ago

Hallo John, Imagem, de leverancier van de ECW-licentie, heeft aangeboden de witte randen weg te clippen. Ik verwacht het resultaat binnenkort terug te krijgen. Ik laat het je zsm weten

HermanAssink commented 7 years ago

Hallo @johnruijer : De witte randen zijn weggeknipt. Je kunt het resultaat bekijken met de WMS: http://odru.ecw-hosting.nl/lufo/services/wms_odru? Groeten, Herman

johnruijer commented 7 years ago

Dag Herman, Excuses voor de late reactie. Wij hebben het resultaat bekeken en moeten helaas concluderen dat het beeld niet beter is geworden. De witte rand is inderdaad weg, maar is vervangen door een zwart vlak. Daar omheen wordt de rest van het kaartbeeld wit weergegeven. Als ik twee aangrenzende gemeenten tegelijk aanzet, dan wordt alleen de bovenste in de legenda getoond. Hier een screenshot bijgevoegd knipsel Heb je zelf ook naar het resultaat kunnen kijken? En zo ja, zag jij een ander resultaat misschien? Groet, John

HermanAssink commented 7 years ago

Hallo John, Dit is het beeld wat ik krijg, luchtfotos van verschillende gemeenten dekken elkaar dus niet meer af: image

johnruijer commented 7 years ago

Dat ziet er inderdaad beter uit Herman. Wat ik hier heb gedaan is een aantal luchtfoto's uit die ECW-service halen en in de (interne) viewer laden met die functieknop boven in de balk. Komt het plaatje van jou soms rechtstreeks uit de testomgeving of zo? Die kan ik nu niet openen, geeft foutmelding.