Dateien aus Amazon S3 importieren

🤖/s3/import importiert ganze Dateiverzeichnisse aus Ihrem S3-Bucket.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowTransloaditToImportFilesIn{BUCKET_NAME}Bucket",
      "Effect": "Allow",
      "Action": ["s3:GetBucketLocation", "s3:ListBucket"],
      "Resource": ["arn:aws:s3:::{BUCKET_NAME}", "arn:aws:s3:::{BUCKET_NAME}/*"]
    }
  ]
}

Anwendungsbeispiel

{
  "steps": {
    "imported": {
      "robot": "/s3/import",
      "credentials": "YOUR_AWS_CREDENTIALS",
      "path": "path/to/files/",
      "recursive": true
    }
  }
}

Parameter

• interpolate

  boolean | Record<string, boolean>

  Steuert, ob einzelne Robot-Anweisungsfelder Assembly Variables interpolieren.

  Standardmäßig interpolieren die meisten Robot-Anweisungsfelder Assembly Variables. Mit dem Wert false behandeln Sie alle Anweisungsfelder als Literaltext. Wenn Sie stattdessen einen einzelnen Feldpfad auf false setzen, wird nur dieses Feld als Literaltext behandelt. Bei Robot-spezifischen Feldern, die standardmäßig als Literaltext behandelt werden, aktivieren Sie die Interpolation wieder, indem Sie hierfür true festlegen oder für den jeweiligen Feldpfad den Wert true verwenden.

  Verwenden Sie Feldnamen wie path oder für verschachtelte Objekte Punktpfade wie ffmpeg.vf als Pfadangabe.

• output_meta

  Record<string, boolean> | boolean | Array<string>

  Damit können Sie eine Reihe von Metadaten festlegen, deren Berechnung mehr CPU-Ressourcen beansprucht. Sie sind daher standardmäßig deaktiviert, damit Ihre Assemblies schnell verarbeitet werden.

  Für Bilder können Sie diesem Objekt den Eintrag "has_transparency": true hinzufügen, um zu ermitteln, ob das Bild transparente Bereiche enthält. Mit dem Eintrag "dominant_colors": true können Sie außerdem ein Array mit hexadezimalen Farbcodes aus dem Bild extrahieren.

  Für Bilder können Sie auch den Eintrag "blurhash": true hinzufügen, um einen BlurHash⁠ zu extrahieren – eine kompakte Darstellung eines Platzhalters für das Bild, mit der Sie eine unscharfe Vorschau anzeigen können, während das vollständige Bild geladen wird.

  Für Videos können Sie den Parameter "colorspace": true hinzufügen, um den Farbraum des Ausgabevideos zu extrahieren.

  Für Videos können Sie außerdem den Eintrag "interlaced": true hinzufügen, um zu erkennen, ob das Video im Zeilensprungverfahren vorliegt. Dazu wird die ressourcenschonende ffprobe-Option field_order mit einem begrenzten Stichprobendurchlauf mithilfe von idet über die ersten Frames der Quelle kombiniert. Die Ergebnisse interlaced und field_order sowie das Diagnoseobjekt interlace_detection werden dabei unter file.meta ausgegeben. Dies ist rechenintensiv und wird entsprechend abgerechnet.

  Für Audio können Sie den Eintrag "mean_volume": true hinzufügen, um einen einzelnen Wert für die durchschnittliche Lautstärke der Audiodatei zu erhalten.

  Sie können diesen Parameter auch auf false setzen, um die Metadatenextraktion zu überspringen und das Transcoding zu beschleunigen.

• result

  boolean(Standard: false)

  Ob die Ergebnisse dieses Steps im Assembly Status JSON enthalten sein sollen

• queue

  batch

  Wenn Sie die Queue auf „batch“ setzen, wird die Priorität der Jobs für diesen Step manuell herabgestuft. So vermeiden Sie, Priority Job Slots für Jobs zu belegen, die keine Wartezeit von null in der Queue benötigen.

• force_accept

  boolean(Standard: false)

  Erzwingt, dass ein Robot einen Dateityp akzeptiert, den er sonst ignorieren würde.

  Standardmäßig ignorieren Robots Dateien, deren Typ sie nicht kennen. 🤖/video/encode ignoriert beispielsweise problemlos Eingabebilder.

  Wenn Sie den Parameter force_accept auf true setzen, können Sie erzwingen, dass Robots alle übergebenen Dateien akzeptieren. Dies führt in der Regel zu Fehlern und sollte nur zur Fehlersuche oder zur Behandlung von Grenzfällen verwendet werden.

• ignore_errors

  boolean | Array<meta | import | execute>(Standard: [])

  Fehler in bestimmten Verarbeitungsphasen ignorieren.

  Wenn Sie diesen Wert auf ["meta"] setzen, ignoriert der Robot Fehler bei der Metadatenextraktion.

  Wenn Sie diesen Wert auf ["execute"] setzen, ignoriert der Robot Fehler während der Hauptausführungsphase.

  Wenn Sie diesen Wert auf ["import"] setzen, ignoriert der Robot Fehler beim Importieren der Quelldatei. Die Phase "import" ist nur für importierende Robots verfügbar.

  Wenn Sie diesen Wert auf true setzen, entspricht dies ["meta", "import", "execute"] und Fehler in allen drei Phasen werden ignoriert.

• force_name

  string | Array<string> | null(Standard: null)

  Benutzerdefinierter Name für die importierte Datei bzw. die importierten Dateien. Standardmäßig werden die Dateinamen von der Quelle abgeleitet.

• import_on_errors

  Array<meta>(Standard: [])

  Wenn Sie dies auf ["meta"] setzen, wird die Datei auch bei Fehlern während der Metadatenextraktion importiert. Ähnlich verhält es sich mit dem Parameter ignore_errors: Der Fehler wird ebenfalls ignoriert und der Robot wird nicht angehalten, die Datei wird jedoch nicht importiert.

• credentials

  string

  Erstellen Sie bitte die zugehörigen Template-Zugangsdaten in Ihrem Transloadit-Konto und verwenden Sie den Namen dieser Template-Zugangsdaten als Wert für diesen Parameter. Sie enthalten die Werte für Ihre S3-Parameter bucket, key, secret und bucket_region.

  Wir empfehlen, stets Template-Zugangsdaten zu verwenden. Einige Anwendungsfälle erfordern jedoch dynamische Zugangsdaten, für die Template-Zugangsdaten aufgrund ihrer statischen Natur zu umständlich sind. Wenn dies auf Ihren Anwendungsfall zutrifft, können Sie stattdessen die folgenden Parameter verwenden: "bucket", "bucket_region" (zum Beispiel: "us-east-1" oder "eu-west-2"), "key", "secret".

• path — erforderlich

  string | Array<string>

  Der Pfad in Ihrem Bucket zur jeweiligen Datei oder zum jeweiligen Verzeichnis. Wenn der Pfad auf eine Datei verweist, wird nur diese Datei importiert. Beispiel: images/avatar.jpg.

  Wenn er auf ein Verzeichnis verweist, erkennbar an einem abschließenden Schrägstrich (/), werden alle Dateien importiert, die sich direkt in diesem Verzeichnis befinden. Beispiel: images/.

  Verzeichnisse werden nicht rekursiv importiert. Wenn Sie Dateien aus Unterverzeichnissen und tiefer verschachtelten Unterverzeichnissen importieren möchten, aktivieren Sie den Parameter recursive.

  Wenn Sie alle Dateien aus dem Stammverzeichnis importieren möchten, verwenden Sie hier bitte / als Wert. Stellen Sie in diesem Fall sicher, dass alle Ihre Objekte zu einem Pfad gehören. Wenn sich im Stammverzeichnis Ihres Buckets Objekte befinden, denen / nicht vorangestellt ist, erhalten Sie folgenden Fehler: A client error (NoSuchKey) occurred when calling the GetObject operation: The specified key does not exist.

  Sie können hier auch ein Array aus Pfad-Strings verwenden, um mehrere Pfade in einem Step zu importieren, der zu demselben Robot gehört.

• recursive

  boolean(Standard: false)

  Wenn Sie dies auf true setzen, können Dateien aus Unterverzeichnissen und weiteren darunterliegenden Verzeichnissen (usw.) des angegebenen Pfads importiert werden.

  Verwenden Sie hierbei die Paginierungsparameter page_number und files_per_page mit Bedacht.

• page_number

  string | number

  Die Seitennummer der Paginierung. Um die Abwärtskompatibilität bei nicht rekursiven Importen nicht zu beeinträchtigen, funktioniert dies derzeit nur, wenn für recursive der Wert true gesetzt ist.

  Stellen Sie bei umfangreichen Importen sicher, dass keine anderen Skripte Dateien innerhalb Ihres Speicherorts hinzufügen oder entfernen. Andernfalls kann die Paginierung unerwartete Ergebnisse liefern.

• files_per_page

  string | number

  Die Seitengröße der Paginierung. Dies funktioniert derzeit nur, wenn recursive den Wert true hat, um die Abwärtskompatibilität bei nicht rekursiven Importen nicht zu beeinträchtigen.

• return_file_stubs

  boolean(Standard: false)

  Wenn Sie dies auf true setzen, importiert der Robot die eigentlichen Dateien noch nicht, sondern gibt stattdessen einen leeren Datei-Stub mit einer URL zurück, über die nachfolgende Robots die Datei importieren können. Dies ist nützlich, wenn nachfolgende Steps mehr Kontrolle über den Importvorgang benötigen, beispielsweise wenn 🤖/video/ondemand zum Einsatz kommt. Dieser Parameter sollte nur festgelegt werden, wenn alle nachfolgenden Steps Robots verwenden, die Datei-Stubs unterstützen.

• range

  string | Array<string>

  Ermöglicht es Ihnen, einen oder mehrere Bytebereiche anzugeben, die aus der Datei importiert werden sollen. Damit dies funktioniert, muss S3 Bereichsanfragen unterstützen.

  Einzelner Bereich: Verwenden Sie eine Zeichenfolge wie "0-99", um die Bytes von 0 bis 99 zu importieren (die ersten 100 Bytes).

  Mehrere Bereiche: Verwenden Sie ein Array wie ["0-99", "200-299"], um mehrere separate Bereiche zu importieren. Die resultierende Datei enthält alle angeforderten Bereiche zusammengefügt. Lücken zwischen nicht zusammenhängenden Bereichen werden mit Null-Bytes (\0) gefüllt.

  Bereichsformate:

  • "0-99": Bytes von 0 bis einschließlich 99
  • "100-199": Bytes von 100 bis einschließlich 199
  • "-100": Die letzten 100 Bytes der Datei

  Wichtige Hinweise:

  • S3 unterstützt Bereichsanfragen standardmäßig
  • Überlappende Bereiche sind zulässig und werden wie angefordert einbezogen
  • Die Größe der resultierenden Datei entspricht der höchsten angeforderten Byteposition; Lücken werden mit Null-Bytes gefüllt
  • Jeder Bereich wird in einer separaten Anfrage abgerufen, um die Kompatibilität mit S3 sicherzustellen

Demos

Verwandte Blogbeiträge