Google Cloud Storage Ordner und Dateien herunterladen

Das Hochladen und Archivieren geht eigentlich ganz schnell. Dank neuer Oberfläche kann man ganz schnell neue Ordner erstellen und ganze Ordner vom PC aus hochladen. Doch beim Herunterladen, Umbenennen oder Verschieben der Dateien hört die Simplizität schon auf. Die Web-Oberfläche bietet diese Funktionen schlichtweg nicht. Wer jetzt aber keine Angst vor der Kommandozeile hat und sich ein wenig mit den Kernbefehlen der Dateienverwaltung bekanntmachen kann, der hat die ideale Backup-Plattform gefunden.

Mit gsutil ganze Ordner auf und von Google Storage laden

Denn die Lösung ist eine Python Anwendung namens gsutil. Dieses Tool wird von Google selbst bereitgestellt und ist genau dafür da, Daten zwischen dem lokalen PC oder Mac zum und vom Google Storage Speicher zu laden. So funktioniert das Setup:

1. Python 2.7+ herunterladen und installieren (unbedingt anhaken, dass Python in der Path Umgebungsvariable registriert werden soll)
2. gsutil herunterladen und entpacken (z.B. unter C:\Tools\gsutil)
3. Eingabeaufforderung öffnen (Windows + R drücken und cmd eingeben)
4. Den Befehl python eingeben
   1. Falls der Befehl nicht gefunden wird, wurde wahrscheinlich die Umgebungsvariable nicht gesetzt. Ggf. hilft es auch, den Computer neu zu starten
   2. Falls die Python Zeile erscheint, können wir Python mit dem Befehl exit() wieder verlassen
5. In den gsutil Ordner wechseln (cd C:\Tools\gsutil)
6. gsutil aktualisieren (python gsutil update)
7. gsutil konfigurieren, damit wir auf private Buckets zugreifen können
   1. python gsutil config
   2. angezeigte URL in den Browser kopieren (Rechtsklick > Markieren > Rechtsklick), bestätigen und Auth-Code kopieren
   3. Auth-Code in CMD einfügen (Rechtsklick > Einfügen)
   4. Eine neue Anweisung erscheint, dem Link folgen und die Projekt-ID suchen, kopieren, einfügen
8. gsutil ist nun fertig konfiguriert

Jetzt können wir mit Transfers starten. Die Syntax sieht folgendermaßen aus:

python gsutil -m cp -r source_folder target_folder

Um einen ganzen Ordner nun hochzuladen könnt ihr beispielsweise diesen Befehl verwenden:

python gsutil -m cp -r D://test gs://bucket_name/

Zum Herunterladen:

python gsutil -m cp -r gs://bucket_name/test D://

Wenn Sonderzeichen enthalten sind:

python gsutil -m cp -r "gs://bucket_name/ordner mit leerzeichen" "D://zielordner mit leerzeichen"

Ihr seht, dass gsutil hier sowohl lokale Ordner (in diesem Fall D://) als auch die Onlineordner (mit der Prefix gs://, was für Google Storage steht) verwenden kann. Neben dem Befehl cp (copy) gibt es noch zahlreiche weitere. Was die alle können, steht aber in der Dokumentation. Der Parameter -m steht für Multithreading und lässt mehrere Aufgaben/Transfers parallel laufen. Das -r steht für rekursiv.

Als praktisches Beispiel möchte ich meinen Workflow für die Bildsicherung bringen. Ich importiere Bilder eines Auftrages in jeweils einen eigenen Lightroom Catalog. Nachdem ich die Dateien fertig bearbeitet habe, lade ich den gesamten Katalog inklusive RAW-Dateien in die Google Storage Cloud hoch. Sollte ich die Bilder nochmals benötigen, lade ich mit dem zweiten Befehl den gesamten Katalog wieder herunter. Da dies nicht so oft passiert, hat der Bucket die Variante Durable Reduced Availability, was mir dann 2 Cent pro Monat pro GB kostet. Viel schneller, einfacher und günstiger, kenne ich keine Backup-Variante - vor allem da es auch kein Maximum an Speicher gibt.