Dateien aus Google Cloud Storage importieren

🤖/google/import importiert vollständige Dateiverzeichnisse aus Google Cloud Storage.

Anwendungsbeispiel

{
  "steps": {
    "imported": {
      "robot": "/google/import",
      "credentials": "YOUR_GOOGLE_CREDENTIALS",
      "path": "path/to/files/",
      "recursive": true
    }
  }
}

Parameter

• interpolate

  boolean | Record<string, boolean>

  Steuert, ob einzelne Robot-Anweisungsfelder Assembly Variables interpolieren.

  Standardmäßig interpolieren die meisten Robot-Anweisungsfelder Assembly Variables. Mit dem Wert false behandeln Sie alle Anweisungsfelder als Literaltext. Wenn Sie stattdessen einen einzelnen Feldpfad auf false setzen, wird nur dieses Feld als Literaltext behandelt. Bei Feldern eines bestimmten Robots, die standardmäßig als Literaltext behandelt werden, aktivieren Sie die Interpolation wieder, indem Sie hierfür true festlegen oder für den jeweiligen Feldpfad den Wert true verwenden.

  Verwenden Sie Feldnamen wie path oder für verschachtelte Objekte Punktpfade wie ffmpeg.vf als Pfadangabe.

• output_meta

  Record<string, boolean> | boolean | Array<string>

  Damit können Sie eine Reihe von Metadaten festlegen, deren Berechnung mehr CPU-Ressourcen beansprucht. Sie sind daher standardmäßig deaktiviert, damit Ihre Assemblies schnell verarbeitet werden.

  Für Bilder können Sie diesem Objekt den Eintrag "has_transparency": true hinzufügen, um zu ermitteln, ob das Bild transparente Bereiche enthält. Mit dem Eintrag "dominant_colors": true können Sie außerdem ein Array mit hexadezimalen Farbcodes aus dem Bild extrahieren.

  Für Bilder können Sie auch den Eintrag "blurhash": true hinzufügen, um einen BlurHash⁠ zu extrahieren – eine kompakte Darstellung eines Platzhalters für das Bild, mit der Sie eine unscharfe Vorschau anzeigen können, während das vollständige Bild geladen wird.

  Für Videos können Sie den Parameter "colorspace": true hinzufügen, um den Farbraum des Ausgabevideos zu extrahieren.

  Für Videos können Sie außerdem den Eintrag "interlaced": true hinzufügen, um zu erkennen, ob das Video im Zeilensprungverfahren vorliegt. Dazu wird die ressourcenschonende ffprobe-Option field_order mit einem begrenzten Stichprobendurchlauf mithilfe von idet über die ersten Frames der Quelle kombiniert. Die Ergebnisse interlaced und field_order sowie das Diagnoseobjekt interlace_detection werden dabei unter file.meta ausgegeben. Dies ist rechenintensiv und wird entsprechend abgerechnet.

  Für Audio können Sie den Eintrag "mean_volume": true hinzufügen, um einen einzelnen Wert für die durchschnittliche Lautstärke der Audiodatei zu erhalten.

  Sie können diesen Parameter auch auf false setzen, um die Metadatenextraktion zu überspringen und das Transcoding zu beschleunigen.

• user_meta

  Record<string, any>(Standard: {})

  Fügt jeder von diesem Robot ausgegebenen Datei benutzerdefinierte Metadaten hinzu, ohne den Dateiinhalt zu verändern.

  Die Werte werden mit allen bereits in der Eingabedatei enthaltenen user_meta zusammengeführt. Wenn beide Objekte denselben Schlüssel enthalten, hat der Wert dieses Robots Vorrang. Assembly Variables werden unterstützt, zum Beispiel { "internal_file_id": "${file.id}" }.

• result

  boolean(Standard: false)

  Ob die Ergebnisse dieses Steps im Assembly Status JSON enthalten sein sollen

• queue

  batch

  Wenn Sie die Queue auf „batch“ setzen, wird die Priorität der Jobs für diesen Step manuell herabgestuft. So vermeiden Sie, Priority Job Slots für Jobs zu belegen, die keine Wartezeit von null in der Queue benötigen.

• force_accept

  boolean(Standard: false)

  Erzwingt, dass ein Robot einen Dateityp akzeptiert, den er sonst ignorieren würde.

  Standardmäßig ignorieren Robots Dateien, deren Typ sie nicht kennen. 🤖/video/encode ignoriert beispielsweise problemlos Eingabebilder.

  Wenn Sie den Parameter force_accept auf true setzen, können Sie erzwingen, dass Robots alle übergebenen Dateien akzeptieren. Dies führt in der Regel zu Fehlern und sollte nur zur Fehlersuche oder zur Behandlung von Grenzfällen verwendet werden.

• ignore_errors

  boolean | Array<meta | import | execute>(Standard: [])

  Fehler in bestimmten Verarbeitungsphasen ignorieren.

  Wenn Sie hierfür ["meta"] festlegen, ignoriert der Robot Fehler bei der Metadatenextraktion.

  Wenn Sie hierfür ["execute"] festlegen, ignoriert der Robot Fehler während der Hauptausführungsphase.

  Wenn Sie hierfür ["import"] festlegen, ignoriert der Robot Fehler beim Importieren der Quelldatei. Die Phase "import" ist nur für Import-Robots verfügbar.

  Wenn Sie hierfür true festlegen, entspricht dies ["meta", "import", "execute"] und Fehler in allen drei Phasen werden ignoriert.

• force_name

  string | Array<string> | null(Standard: null)

  Benutzerdefinierter Name für die importierte Datei bzw. die importierten Dateien. Standardmäßig werden die Dateinamen von der Quelle abgeleitet.

• import_on_errors

  Array<meta>(Standard: [])

  Wenn Sie dies auf ["meta"] setzen, wird die Datei auch bei Fehlern während der Metadatenextraktion importiert. Ähnlich verhält es sich mit dem Parameter ignore_errors: Der Fehler wird ebenfalls ignoriert und der Robot wird nicht angehalten, die Datei wird jedoch nicht importiert.

• credentials

  string

  Erstellen Sie ein neues Google-Dienstkonto⁠. Setzen Sie dessen Rolle auf „Storage Object Creator“. Wählen Sie „JSON“ als Format der Schlüsseldatei und laden Sie diese auf Ihren Computer herunter. Sie müssen diese Datei beim Erstellen Ihrer Template-Zugangsdaten hochladen.

  Gehen Sie zurück zu Ihrem Google-Projekt mit den Zugangsdaten und aktivieren Sie dafür die „Google Cloud Storage JSON API“. Warten Sie etwa zehn Minuten, bis sich die Änderung im Google-Netzwerk verbreitet hat. Notieren Sie sich die Projekt-ID aus dem Dropdown-Menü in der Kopfleiste der Google-Website. Sie benötigen sie später ebenfalls.

  Nun können Sie die Berechtigungen storage.objects.create und storage.objects.delete einrichten. Letztere ist optional und nur erforderlich, wenn Sie vorhandene Pfade überschreiben möchten.

  Navigieren Sie dazu in der Google Cloud Console zu „IAM & Admin“ und wählen Sie „Roles“. Klicken Sie dort auf „Create Role“, geben Sie einen Namen ein, setzen Sie die Launch-Phase der Rolle auf General availability, und legen Sie die oben genannten Berechtigungen fest.

  Wechseln Sie anschließend zum Storage-Browser und klicken Sie auf die Auslassungspunkte bei Ihrem Bucket, um die Bucket-Berechtigungen zu bearbeiten. Wählen Sie dort „Add Member“, geben Sie Ihr Dienstkonto als neues Mitglied ein und wählen Sie Ihre neu erstellte Rolle aus.

  Erstellen Sie dann die zugehörigen Template-Zugangsdaten in Ihrem Transloadit-Konto und verwenden Sie den Namen Ihrer Template-Zugangsdaten als Wert für diesen Parameter.

• path — erforderlich

  string | Array<string>

  Der Pfad in Ihrem Bucket zur jeweiligen Datei oder zum jeweiligen Verzeichnis. Wenn der Pfad auf eine Datei verweist, wird nur diese Datei importiert. Beispiel: images/avatar.jpg.

  Wenn er auf ein Verzeichnis zeigt, erkennbar an einem abschließenden Schrägstrich (/), werden alle Dateien importiert, die direkte Nachfahren dieses Verzeichnisses sind. Zum Beispiel: images/.

  Verzeichnisse werden nicht rekursiv importiert. Wenn Sie Dateien aus Unterverzeichnissen und tiefer verschachtelten Unterverzeichnissen importieren möchten, aktivieren Sie den Parameter recursive.

  Wenn Sie alle Dateien aus dem Stammverzeichnis importieren möchten, verwenden Sie hier bitte / als Wert. Stellen Sie in diesem Fall sicher, dass alle Ihre Objekte zu einem Pfad gehören. Wenn Sie Objekte im Stammverzeichnis Ihres Buckets haben, denen / nicht vorangestellt ist, erhalten Sie den Fehler 404 GOOGLE_IMPORT_NOT_FOUND.

  Sie können hier auch ein Array aus Pfad-Strings verwenden, um mehrere Pfade in einem Step zu importieren, der zu demselben Robot gehört.

• recursive

  boolean(Standard: false)

  Wenn Sie dies auf true setzen, können Dateien aus Unterverzeichnissen und weiteren darunterliegenden Verzeichnissen (usw.) des angegebenen Pfads importiert werden.

  Bitte gehen Sie hier mit den Paginierungsparametern start_file_name und files_per_page mit Bedacht um.

• next_page_token

  string(Standard: "")

  Ein String-Token für die Paginierung. Die zurückgegebenen Dateien eines paginierten Aufrufs enthalten in ihren Metadaten das Token für die nächste Seite, das für den nachfolgenden Paging-Aufruf verwendet werden muss.

• files_per_page

  string | number(Standard: 1000)

  Die Seitengröße der Paginierung. Dies funktioniert derzeit nur, wenn recursive den Wert true hat, um die Abwärtskompatibilität bei nicht rekursiven Importen nicht zu beeinträchtigen.