Download-Fehler im IDP (MCD64, Landsat, Sentinel)

[DavidZebris]

Im Ordner /storage/ gibt es einige leere Ordner, z.B.: urn_MYD14_2121999795 urn_Sentinel1_9b030bfe-483a-4750-8ab8-b71518d195e6 urn_MCD64MCD6A1.A2012001.h09v06.051..hdf

In diesen Ordnern sollten eigentlich die (noch nicht weiter verarbeiteten) Downloads liegen, insofern scheint mir der Download für diese Dateien nicht funktioniert zu haben ?

[DavidZebris]

Ich habe nochmal zu jeder parentID eine Order aufgegeben, im Moment haben folgende Downloads geklappt: RapidEye Nasa:Landsat8:OLI_TIRS NASA:AQUATERRA:MODIS:MCD12 NASA:AQUATERRA:MODIS:MCD45

Bei folgenden parentIDs sind die Download-Ordner noch leer: NASA:TERRA:MODIS:MOD14 NASA:AQUA:MODIS:MYD14 NASA:AQUATERRA:MODIS:MCD64 Sentinel1 (Die drei NASA(..) - Dateitypen haben früher schonmal funktioniert)

@Abel: Kannst du bitte überprüfen ob es vielleicht wieder einen Fehler bei der Schreibweise der IDs in den Orders gibt ?

[DavidZebris]

Neuer Test, 3 Dateien für jedes Produkt bestellt: RapidEye: 3/3 OK Landsat: 1 OK, 2 mal nur das Quicklook-Bild MCD12: 3/3 OK MCD45: 3/3 OK MCD64: Alle 3 fehlgeschlagen (leere Ordner) MOD14: Auch alle 3 fehlgeschlagen MYD14: Auch alle 3 fehlgeschlagen Sentinel1: Auch alle 3 fehlgeschlagen

[DavidZebris]

Nachtrag: Ich habe in den Unterordern von /storage/ gesucht, die mit "urn_" anfangen. (Wie im ersten Post beschrieben)

Z.B. bei RapidEye oder MCD45 liegen dort die runtergeladenen Dateien. Z.B. bei MOD14 bleiben die Ordner leer. Deshalb gehe ich davon aus, dass die Downloads für MOD14 nicht funktionieren.

Einige Produkte wie MOD14 haben früher auch schon einmal funktioniert.

Wenn ein lokaler Test funktioniert hat, stimmt vielleicht etwas nicht mit den URLs im Katalog ?

[DavidZebris]

Eine Ursache war dass für den NASA-Server falsche Zugangsdaten gespeichert waren.

Landsat 8 geht auch per Browser nicht mehr, der direkte Zugang zu den Dateien war/ist ohnehin nur inoffiziell, insofern kann es sein, dass das einfach nicht mehr möglich ist. (Dann sollten wir Landsat 8 aus dem Katalog, dem Metadata-Harvester und dem Consolidation-Modukle entfernen bzw. auskommentieren)

EDIT: Ich habe nochmal eine ganze Reihe von Landsat-Daten bestellt, und mir ist dabei aufgefallen, dass der Download manchmal auch für Dateien fehlschlägt, die man über den Browser (nach Login) downloaden kann wenn man die URL aus der WSO2-Konsole kopiert. Es liegt also nicht immer daran dass die Datei überhaupt nicht mehr erreichbar ist. Manchmal lädt er zumindest das Vorschau-Bild runter.

Neuer Test (je eine Datei bestellt):

MCD12 (Landcover): OK MCD45 (burned areas): OK MOD14 (active fires): OK MYD14 (active fires): OK RapidEye: OK

MCD64 (burned areas): Order ist noch leer Landsat8: Ordner ist noch leer (EDIT: manchmal/selten funktioniert Landsat, aber meistens nicht) Sentinel1: Ordner ist noch leer

[DavidZebris]

Update zu Sentinel:

Im lokalen Browser konnte ich die URL (z.B.: https://scihub.esa.int/dhus/odata/v1/Products%28%270000ba89-7962-4ed6-bd1f-2cf0d115b24e%27%29/$value ) einfügen, mich anmelden und den Download starten. Nach ca. 2 von 4 GB hat der Download aber ohne weitere Fehlermeldung abgebrochen.

In der VM konnten wir den Download nichtmal (über den Browser) starten, da hat das Login nicht funktioniert. Eine ähnliche Fehlermeldung kommt beim Versuch die Datei über das IDP zu laden. (Username und PW sind aber korrekt)

[DavidZebris]

Neuer Test: RapidEye, MCD12 und MCD45 OK. Download-Fehler bei Sentinel1, Landsat8, MCD64, MOD14 und MYD14.

[DavidZebris]

Aktueller Stand: MCD 64 funktioniert nicht, es kommt sofort ein FAILED als Status, mit der Zusatzmeldung "Download failed".

Bei Landsat 8 hat auf dem IDP meistens alles funktioniert (einzelne Fehler passieren, evtl. weil die Dateien ins Archiv verschoben wurden), aber bei dem Versuch das Ergebnis auf meinen lokalen Rechner zu kopieren hat der Download nach einer Weile ohne ersichtlichen Grund einfach abgebrochen. (habe es 2mal versucht)

Bei Sentinel bekomme ich immer einen Download-Fehler, ich habe 3 verschiedene Dateien versucht.

Die anderen Produkte haben alle funktioniert. (RE, MOD14, MYD14, MCD45, MCD12)

[DavidZebris]

Neuer Test nach Update, keine Änderungen:

OK: RapidEye, MOD14, MYD14, MCD45, MCD12

Fehler:

MCD64: Order Status: Failed Additional info: Download failed from ftp://fuoco.geog.umd.edu/db/MCD64A1/h18v03/MCD64A1.A2009244.h18v03.051.*.hdf

Landsat 8: Status OK, Download fängt auch an, bricht aber nach einer Weile (ca. 10 MIN) ab. https://217.150.144.19/orderDownload-1.0.0/ordering?orderid=ID-DataInputPortalDev-54673-1442320088870-0-1060 (608 MB runtergeladen) https://217.150.144.19/orderDownload-1.0.0/ordering?orderid=ID-DataInputPortalDev-54673-1442320088870-0-1093 (631 MB runtergeladen)

Sentinel: Download-Fehler, aber erst nach längerem Warten. Order Status: Failed Additional info: Download failed from https://scihub.esa.int/dhus/odata/v1/Products('0000ba89-7962-4ed6-bd1f-2cf0d115b24e')/$value Order Status: Failed Additional info: Download failed from https://scihub.esa.int/dhus/odata/v1/Products('00012d29-bba9-40f1-8da8-d71935e3747c')/$value

Wenn ich die Links im Browser anklicke, funktionieren sie (nach Login) erst einmal, aber nach einer ganzen Weile bricht der Download dann einfach ab. Im IDP scheint das selbe zu passieren, da der Status erst einige Zeit auf "partial" steht ehe die Order fehlschlägt. Scheint mir also eher ein Problem mit dem ESA-Server als mit dem IDP zu sein.

[DavidZebris]

Update: Eine Sentinel-Order konnte ich heute erfolgreich abschließen, d.h. aktuell enden nur MCD64-Orders mit Status=FAILED.

Die Sentinel-Order lies sich aber genauso wie die Landsat-Order nicht vom IDP runterladen weil der Download abgebrochen hat, siehe Fehler #35 .