Thumbnails aus Videos extrahieren

🤖/video/thumbs extrahiert beliebig viele Bilder aus Videos, um sie als Vorschaubilder zu verwenden.

Anwendungsbeispiel

{
  "steps": {
    "thumbnailed": {
      "robot": "/video/thumbs",
      "use": ":original",
      "count": 3,
      "ffmpeg_stack": "v7",
      "smart": true,
      "smart_max_candidates": 12
    }
  }
}

Parameter

• interpolate

  boolean | Record<string, boolean>

  Steuert, ob einzelne Robot-Anweisungsfelder Assembly Variables interpolieren.

  Standardmäßig interpolieren die meisten Robot-Anweisungsfelder Assembly Variables. Mit dem Wert false behandeln Sie alle Anweisungsfelder als Literaltext. Wenn Sie stattdessen einen einzelnen Feldpfad auf false setzen, wird nur dieses Feld als Literaltext behandelt. Bei Feldern eines bestimmten Robots, die standardmäßig als Literaltext behandelt werden, aktivieren Sie die Interpolation wieder, indem Sie hierfür true festlegen oder für den jeweiligen Feldpfad den Wert true verwenden.

  Verwenden Sie Feldnamen wie path oder für verschachtelte Objekte Punktpfade wie ffmpeg.vf als Pfadangabe.

• output_meta

  Record<string, boolean> | boolean | Array<string>

  Damit können Sie eine Reihe von Metadaten festlegen, deren Berechnung mehr CPU-Ressourcen beansprucht. Sie sind daher standardmäßig deaktiviert, damit Ihre Assemblies schnell verarbeitet werden.

  Für Bilder können Sie diesem Objekt den Eintrag "has_transparency": true hinzufügen, um zu ermitteln, ob das Bild transparente Bereiche enthält. Mit dem Eintrag "dominant_colors": true können Sie außerdem ein Array mit hexadezimalen Farbcodes aus dem Bild extrahieren.

  Für Bilder können Sie auch den Eintrag "blurhash": true hinzufügen, um einen BlurHash⁠ zu extrahieren – eine kompakte Darstellung eines Platzhalters für das Bild, mit der Sie eine unscharfe Vorschau anzeigen können, während das vollständige Bild geladen wird.

  Für Videos können Sie den Parameter "colorspace": true hinzufügen, um den Farbraum des Ausgabevideos zu extrahieren.

  Für Videos können Sie außerdem den Eintrag "interlaced": true hinzufügen, um zu erkennen, ob das Video im Zeilensprungverfahren vorliegt. Dazu wird die ressourcenschonende ffprobe-Option field_order mit einem begrenzten Stichprobendurchlauf mithilfe von idet über die ersten Frames der Quelle kombiniert. Die Ergebnisse interlaced und field_order sowie das Diagnoseobjekt interlace_detection werden dabei unter file.meta ausgegeben. Dies ist rechenintensiv und wird entsprechend abgerechnet.

  Für Audio können Sie den Eintrag "mean_volume": true hinzufügen, um einen einzelnen Wert für die durchschnittliche Lautstärke der Audiodatei zu erhalten.

  Sie können diesen Parameter auch auf false setzen, um die Metadatenextraktion zu überspringen und das Transcoding zu beschleunigen.

• user_meta

  Record<string, any>(Standard: {})

  Fügt jeder von diesem Robot ausgegebenen Datei benutzerdefinierte Metadaten hinzu, ohne den Dateiinhalt zu verändern.

  Die Werte werden mit allen bereits in der Eingabedatei enthaltenen user_meta zusammengeführt. Wenn beide Objekte denselben Schlüssel enthalten, hat der Wert dieses Robots Vorrang. Assembly Variables werden unterstützt, zum Beispiel { "internal_file_id": "${file.id}" }.

• result

  boolean(Standard: false)

  Ob die Ergebnisse dieses Steps im Assembly Status JSON enthalten sein sollen

• queue

  batch

  Wenn Sie die Queue auf „batch“ setzen, wird die Priorität der Jobs für diesen Step manuell herabgestuft. So vermeiden Sie, Priority Job Slots für Jobs zu belegen, die keine Wartezeit von null in der Queue benötigen.

• force_accept

  boolean(Standard: false)

  Erzwingt, dass ein Robot einen Dateityp akzeptiert, den er sonst ignorieren würde.

  Standardmäßig ignorieren Robots Dateien, deren Typ sie nicht kennen. 🤖/video/encode ignoriert beispielsweise problemlos Eingabebilder.

  Wenn Sie den Parameter force_accept auf true setzen, können Sie erzwingen, dass Robots alle übergebenen Dateien akzeptieren. Dies führt in der Regel zu Fehlern und sollte nur zur Fehlersuche oder zur Behandlung von Grenzfällen verwendet werden.

• ignore_errors

  boolean | Array<meta | execute>(Standard: [])

  Fehler in bestimmten Verarbeitungsphasen ignorieren.

  Wenn Sie hierfür ["meta"] festlegen, ignoriert der Robot Fehler bei der Metadatenextraktion.

  Wenn Sie hierfür ["execute"] festlegen, ignoriert der Robot Fehler während der Hauptausführungsphase.

  Wenn Sie hierfür true festlegen, entspricht dies ["meta", "execute"] und Fehler in beiden Phasen werden ignoriert.

• use

  string | Array<string> | Array<object> | object

  Gibt an, welche Steps als Eingabe verwendet werden sollen.

  • Sie können beliebige Namen für Steps wählen, außer ":original" (reserviert für von Transloadit verarbeitete Benutzer-Uploads)
  • Sie können mehrere Steps mithilfe von Arrays als Eingabe angeben:

    {
      "use": [
        ":original",
        "encoded",
        "resized"
      ]
    }
    

  • Sie können Eingabe-Steps außerdem mit as kennzeichnen, um Robots die semantische Funktion zu übermitteln:

    {
      "use": [
        {
          "name": ":original",
          "as": "image"
        },
        {
          "name": ":original",
          "as": "mask"
        }
      ]
    }
    

  Tipp

  Das ist wahrscheinlich alles, was Sie über use wissen müssen. Sie können sich jedoch auch die erweiterten Anwendungsfälle ansehen.

• ffmpeg

  object

  Ein Parameterobjekt, das an FFmpeg übergeben wird. Wenn eine Voreinstellung verwendet wird, werden die angegebenen Optionen mit deren Optionen zusammengeführt. Verfügbare Optionen finden Sie in der FFmpeg-Dokumentation⁠. Die hier angegebenen Optionen haben Vorrang vor den Optionen der Voreinstellung.

• ffmpeg_stack

  v6 | v7 | v8 | string(Standard: "v7")

  Wählt die Version des FFmpeg-Stacks aus, die zum Encoding verwendet werden soll. Derzeit empfehlen wir „v7“. Die exakten Versionen „v6.0.0“, „v7.0.0“ und „v8.0.0“ sind Legacy-Werte, die aus Gründen der Abwärtskompatibilität weiterhin akzeptiert werden. Veraltete „v5.x“-Werte werden ebenfalls akzeptiert.

• count

  string | number(Standard: 8)

  Die Anzahl der zu extrahierenden Thumbnails. Da einige Videos falsche Laufzeitangaben enthalten, kann die tatsächlich erzeugte Anzahl in seltenen Fällen geringer sein. Derzeit sind maximal 999 Thumbnails zulässig.

  Die Thumbnails werden in regelmäßigen Abständen erstellt, die sich aus der Division der Videolaufzeit durch die Anzahl ergeben. Eine Anzahl von 3 erzeugt beispielsweise Thumbnails bei 25 %, 50 % und 75 % innerhalb des Videos.

  Um Thumbnails für bestimmte Zeitstempel zu extrahieren, verwenden Sie den Parameter offsets.

• offsets

  Array<string | number> | Array<string>(Standard: [])

  Ein Array mit Zeitpositionen in Sekunden innerhalb der Dateidauer, beispielsweise [ 2, 45, 120 ]. Positionen in Millisekunden können auch durch Dezimalwerte angegeben werden. Eine Zeitposition bei 1250 Millisekunden würde beispielsweise als 1.25 dargestellt. Zeitpositionen können auch als Prozentwerte wie [ "2%", "50%", "75%" ] angegeben werden.

  Diese Option kann nicht zusammen mit dem Parameter count verwendet werden und hat Vorrang, wenn beide angegeben sind. Zeitpositionen außerhalb des gültigen Bereichs werden ohne Meldung ignoriert.

• format

  jpeg | jpg | png(Standard: "jpeg")

  Das Format des extrahierten Thumbnails. Unterstützte Werte sind "jpg", "jpeg" und "png". Selbst wenn Sie als Format "jpeg" angeben, erhalten die resultierenden Thumbnails die Dateierweiterung "jpg".

• width

  string | number

  Die Breite des Thumbnails in Pixeln. Standardmäßig wird die ursprüngliche Breite des Videos verwendet.

• height

  string | number

  Die Höhe des Thumbnails in Pixeln. Standardmäßig wird die ursprüngliche Höhe des Videos verwendet.

• resize_strategy

  crop | fit | fillcrop | min_fit | pad | stretch(Standard: "pad")

  Eine der verfügbaren Strategien zur Größenänderung.

• background

  string(Standard: "#00000000")

  Die Hintergrundfarbe der resultierenden Thumbnails im Format "rrggbbaa" (Rot, Grün, Blau, Alpha), wenn sie mit der Größenänderungsstrategie "pad" verwendet wird. Die Standardfarbe ist Schwarz.

• rotate

  0 | 90 | 180 | 270 | 360(Standard: 0)

  Erzwingt die Drehung des Videos um den angegebenen ganzzahligen Gradwert. Derzeit werden nur Vielfache von 90 unterstützt. Wir korrigieren die Ausrichtung vieler Videos automatisch, wenn die Kamera Ausrichtungsinformationen bereitstellt. Diese Option ist nur für Videos nützlich, die gedreht werden müssen, weil die Kamera ihre Ausrichtung nicht erkannt hat.

• input_codec

  string

  Gibt den Eingabe-Codec an, der beim Decodieren des Videos verwendet werden soll. Dies ist bei Videos mit speziellen Codecs nützlich, die bestimmte Decoder erfordern.

• smart

  boolean(Standard: false)

  Wenn dieser Parameter auf true gesetzt ist, aktiviert er die KI-gestützte intelligente Auswahl von Thumbnails. Statt Thumbnails in regelmäßigen Abständen zurückzugeben, analysiert der Robot infrage kommende Kandidaten-Frames und wählt die visuell ansprechendsten aus.

  Die KI bewertet Frames anhand folgender Kriterien:

  • Visuelle Klarheit (unscharfe oder dunkle Frames werden vermieden)
  • Qualität der Bildkomposition
  • Vorhandensein von Gesichtern und Gesichtsausdrücken
  • Aktivität und Bewegung (Übergangsframes werden vermieden)
  • Visuelle Gesamtwirkung

  Die regulären Verarbeitungskosten für /video/thumbs fallen weiterhin an. Die KI-Analyse der Frames wird separat zu den Kosten des zugrunde liegenden Anbieters zuzüglich eines Transloadit-Aufschlags von 50 % berechnet. Sie müssen keine eigenen KI-Zugangsdaten angeben.

• smart_max_candidates

  string | number(Standard: 20)

  Die maximale Größe des zusätzlichen Pools von Kandidaten-Frames, wenn smart auf true gesetzt ist. Der Robot analysiert bis zu drei Kandidaten-Frames pro angefordertem Thumbnail, begrenzt durch diesen Wert. Er analysiert jedoch nie weniger Kandidaten-Frames als durch count angefordert.

  Eine höhere Anzahl kann bessere Ergebnisse liefern, erhöht jedoch die Verarbeitungszeit und die KI-Kosten. Mit den Standardwerten count: 8 und smart_max_candidates: 20 analysiert der Robot 20 Frames und gibt die besten 8 in chronologischer Reihenfolge zurück.

  Dieser Parameter wird nur verwendet, wenn smart auf true gesetzt ist.

Demos

Verwandte Blogbeiträge