search

kurmann / s3-restore-utilities

Verwaltung von S3-Buckets und Wiederherstellung von Objekten aus AWS Deep Glacier
MIT License
0 stars 0 forks source link

Verbesserungen am Download-Skript `download_s3_directory.py` #103

Closed kurmann closed 5 months ago

kurmann commented 5 months ago

Das download_s3_directory.py-Skript wurde erweitert, um die Benutzerfreundlichkeit und Funktionalität zu verbessern. Insbesondere wurden Funktionen hinzugefügt, die bereits vorhandene Dateien überspringen und eine abschließende Zusammenfassung des Herunterladeprozesses liefern.

Änderungen:

  1. Überspringen vorhandener Dateien:

    • Das Skript überprüft nun, ob eine Datei bereits im Zielverzeichnis vorhanden ist, bevor sie heruntergeladen wird. Wenn die Datei bereits existiert, wird sie übersprungen und eine entsprechende Nachricht wird protokolliert.

  2. Zusammenfassung des Herunterladeprozesses:

    • Am Ende des Herunterladeprozesses gibt das Skript eine Zusammenfassung aus, die folgende Informationen enthält:
      • Anzahl und Gesamtgröße der erfolgreich heruntergeladenen Dateien.
      • Anzahl der übersprungenen Dateien (bereits vorhanden).
      • Anzahl der fehlgeschlagenen Downloads und die entsprechenden Dateinamen.

Funktionsweise des Download-Skripts

Das download_s3_directory.py-Skript arbeitet wie folgt aus Sicht des Anwenders, der Docker Compose verwendet:

  1. Vorbereitung:

    • Stelle sicher, dass die .env-Datei im Root-Verzeichnis vorhanden ist und die AWS-Zugangsdaten enthält.
    • Die Docker Compose-Datei (docker-compose.yml) ist korrekt konfiguriert und das Docker-Image kurmann/s3-restore-utilities:latest wird verwendet.

  2. Ausführung:

    • Um das Skript auszuführen, verwende den folgenden Befehl: 
      docker-compose run s3-restore-utilities download_s3_directory <bucket-name> <s3-directory> <local-directory>

  3. Parameter:

    • bucket-name: Der Name des S3-Buckets, aus dem die Dateien heruntergeladen werden sollen.
    • s3-directory: Der Pfad zum Verzeichnis im S3-Bucket, das heruntergeladen werden soll.
    • local-directory: Der lokale Pfad, in den die Dateien heruntergeladen werden sollen.

  4. Prozess:

    • Das Skript lädt alle Dateien im angegebenen Verzeichnis und dessen Unterverzeichnissen herunter.
    • Bereits vorhandene Dateien im Zielverzeichnis werden übersprungen.
    • Eine Fortschrittsanzeige (tqdm) zeigt den Fortschritt des Herunterladevorgangs an.

  5. Zusammenfassung:

    • Am Ende des Herunterladeprozesses gibt das Skript eine Zusammenfassung aus:
      • Anzahl und Gesamtgröße der erfolgreich heruntergeladenen Dateien.
      • Anzahl der übersprungenen Dateien.
      • Anzahl und Namen der fehlgeschlagenen Downloads.

Mit diesen Verbesserungen wird die Nutzung des download_s3_directory.py-Skripts effizienter und benutzerfreundlicher.