Video, Audio und Bilder zu einem Video zusammenführen

🤖/video/merge erstellt ein neues Video, indem eine Audiospur zu einem oder mehreren vorhandenen Standbildern oder einem Video hinzugefügt wird.

Anwendungsbeispiel

{
  "steps": {
    "merged": {
      "duration": 12,
      "framerate": "1/4",
      "height": 720,
      "resize_strategy": "pad",
      "robot": "/video/merge",
      "use": [
        {
          "as": "image",
          "name": ":original"
        },
        {
          "as": "audio",
          "name": ":original"
        }
      ],
      "width": 1280
    }
  }
}

Parameter

• interpolate

  boolean | Record<string, boolean>

  Steuert, ob einzelne Robot-Anweisungsfelder Assembly Variables interpolieren.

  Standardmäßig interpolieren die meisten Robot-Anweisungsfelder Assembly Variables. Mit dem Wert false behandeln Sie alle Anweisungsfelder als Literaltext. Wenn Sie stattdessen einen einzelnen Feldpfad auf false setzen, wird nur dieses Feld als Literaltext behandelt. Bei Feldern eines bestimmten Robots, die standardmäßig als Literaltext behandelt werden, aktivieren Sie die Interpolation wieder, indem Sie hierfür true festlegen oder für den jeweiligen Feldpfad den Wert true verwenden.

  Verwenden Sie Feldnamen wie path oder für verschachtelte Objekte Punktpfade wie ffmpeg.vf als Pfadangabe.

• output_meta

  Record<string, boolean> | boolean | Array<string>

  Damit können Sie eine Reihe von Metadaten festlegen, deren Berechnung mehr CPU-Ressourcen beansprucht. Sie sind daher standardmäßig deaktiviert, damit Ihre Assemblies schnell verarbeitet werden.

  Für Bilder können Sie diesem Objekt den Eintrag "has_transparency": true hinzufügen, um zu ermitteln, ob das Bild transparente Bereiche enthält. Mit dem Eintrag "dominant_colors": true können Sie außerdem ein Array mit hexadezimalen Farbcodes aus dem Bild extrahieren.

  Für Bilder können Sie auch den Eintrag "blurhash": true hinzufügen, um einen BlurHash⁠ als String zu extrahieren – eine kompakte Darstellung eines Platzhalters für das Bild, mit der Sie eine unscharfe Vorschau anzeigen können, während das vollständige Bild geladen wird.

  Für Bilder extrahiert der Eintrag "thumbhash": true stattdessen einen base64-codierten ThumbHash⁠ nach meta.thumbhash, zusammen mit meta.has_alpha (gibt an, ob ein Alphakanal vorhanden ist, auch wenn das Bild vollständig deckend ist). Der Hash beschreibt die Pixel gemäß EXIF-Ausrichtung und verwendet bei animierten Bildern das erste Frame. Die Extraktion erfolgt nach dem Best-Effort-Prinzip: Bilder über 40 Megapixeln, nicht unterstützte Formate oder ein fehlgeschlagener bzw. durch Grenzwerte beschränkter Decodiervorgang erzeugen keinen Platzhalter. Eine erfolgreiche Extraktion verursacht eine zusätzliche Metadatengebühr in Höhe von 20 % der Bytes dieser Datei. Ist die Option deaktiviert oder wird kein Hash erzeugt, fällt kein ThumbHash-Aufschlag an.

  Setzen Sie diese Option für den Step, der das Bild erzeugt, etwa /upload/handle für hochgeladene Originale oder /image/resize für verarbeitete Ausgaben. Wird sie nur für /transloadit/store gesetzt, wird keine Extraktion angefordert: Die Speicherung behält die Metadaten des erzeugenden Steps bei. Transloadit Storage speichert einen erzeugten Hash dauerhaft zusammen mit seiner unveränderlichen Version und gibt ihn in gespeicherten Ergebnissen sowie beim nativen Lesen von Assets zurück. Direkte S3-Uploads erzeugen keine Platzhalter. Ein Platzhalter enthält Bildinformationen; schützen Sie ihn daher mit denselben Zugriffskontrollen wie das vollständige Bild.

  Für Videos können Sie den Parameter "colorspace": true hinzufügen, um den Farbraum des Ausgabevideos zu extrahieren.

  Für Videos können Sie außerdem den Eintrag "interlaced": true hinzufügen, um zu erkennen, ob das Video im Zeilensprungverfahren vorliegt. Dazu wird die ressourcenschonende ffprobe-Option field_order mit einem begrenzten Stichprobendurchlauf mithilfe von idet über die ersten Frames der Quelle kombiniert. Die Ergebnisse interlaced und field_order sowie das Diagnoseobjekt interlace_detection werden dabei unter file.meta ausgegeben. Dies ist rechenintensiv und wird entsprechend abgerechnet.

  Für Audio können Sie den Eintrag "mean_volume": true hinzufügen, um einen einzelnen Wert für die durchschnittliche Lautstärke der Audiodatei zu erhalten.

  Sie können diesen Parameter auch auf false setzen, um die Metadatenextraktion zu überspringen und das Transkodieren zu beschleunigen.

• user_meta

  Record<string, any>(Standard: {})

  Fügt jeder ausgegebenen Datei benutzerdefinierte JSON-Metadaten hinzu, ohne den Dateiinhalt zu verändern. Verschachtelte Objekte und Arrays werden unterstützt.

  Die Vererbung hängt vom Robot ab. Die Werte werden mit vorhandenen user_meta der Ausgabedatei zusammengeführt; der aktuelle Step ersetzt übereinstimmende Schlüssel auf oberster Ebene. Weisen Sie erforderliche Schlüssel explizit zu, wenn ein Robot neue Ausgabedateien erstellt.

  In Steps zur Verarbeitung bezieht sich ${file.*} auf die erste Eingabe und ${result.*} auf die ausgegebene Datei. Die Werte werden nach der Ausführung des Robots für jede Ausgabedatei ausgewertet, bevor die anschließende Metadatenextraktion und temporäre Speicherung erfolgen. Bei :original werden die Werte für jeden Upload vor der Metadatenextraktion ausgewertet.

  Nachfolgende Steps lesen ${file.user_meta.key}. Ein vollständiges Beispiel und die Vererbungsregeln finden Sie unter Benutzerdefinierte Metadaten.

• result

  boolean(Standard: false)

  Ob die Ergebnisse dieses Steps im Assembly Status JSON enthalten sein sollen

• queue

  batch

  Wenn Sie die Queue auf „batch“ setzen, wird die Priorität der Jobs für diesen Step manuell herabgestuft. So vermeiden Sie, Priority Job Slots für Jobs zu belegen, die keine Wartezeit von null in der Queue benötigen.

• force_accept

  boolean(Standard: false)

  Erzwingt, dass ein Robot einen Dateityp akzeptiert, den er sonst ignorieren würde.

  Standardmäßig ignorieren Robots Dateien, deren Typ sie nicht kennen. 🤖/video/encode ignoriert beispielsweise problemlos Eingabebilder.

  Wenn Sie den Parameter force_accept auf true setzen, können Sie erzwingen, dass Robots alle übergebenen Dateien akzeptieren. Dies führt in der Regel zu Fehlern und sollte nur zur Fehlersuche oder zur Behandlung von Grenzfällen verwendet werden.

• ignore_errors

  boolean | Array<meta | execute>(Standard: [])

  Fehler in bestimmten Verarbeitungsphasen ignorieren.

  Wenn Sie hierfür ["meta"] festlegen, ignoriert der Robot Fehler bei der Metadatenextraktion.

  Wenn Sie hierfür ["execute"] festlegen, ignoriert der Robot Fehler während der Hauptausführungsphase.

  Wenn Sie hierfür true festlegen, entspricht dies ["meta", "execute"] und Fehler in beiden Phasen werden ignoriert.

• use

  string | Array<string> | Array<object> | object

  Gibt an, welche Steps als Eingabe verwendet werden sollen.

  • Sie können beliebige Namen für Steps wählen, außer ":original" (reserviert für von Transloadit verarbeitete Benutzer-Uploads)
  • Sie können mehrere Steps mithilfe von Arrays als Eingabe angeben:

    {
      "use": [
        ":original",
        "encoded",
        "resized"
      ]
    }
    

  • Sie können Eingabe-Steps außerdem mit as kennzeichnen, um Robots die semantische Funktion zu übermitteln:

    {
      "use": [
        {
          "name": ":original",
          "as": "image"
        },
        {
          "name": ":original",
          "as": "mask"
        }
      ]
    }
    

  Tipp

  Das ist wahrscheinlich alles, was Sie über use wissen müssen. Sie können sich jedoch auch die erweiterten Anwendungsfälle ansehen.

• ffmpeg

  object

  Ein Parameterobjekt, das an FFmpeg übergeben wird. Wenn eine Voreinstellung verwendet wird, werden die angegebenen Optionen mit deren Optionen zusammengeführt. Verfügbare Optionen finden Sie in der FFmpeg-Dokumentation⁠. Die hier angegebenen Optionen haben Vorrang vor den Optionen der Voreinstellung.

• ffmpeg_stack

  v6 | v7 | v8 | string(Standard: "v6.0.0")

  Wählt die Version des FFmpeg-Stacks aus, die zum Encoding verwendet werden soll. Derzeit empfehlen wir „v7“. Die exakten Versionen „v6.0.0“, „v7.0.0“ und „v8.0.0“ sind Legacy-Werte, die aus Gründen der Abwärtskompatibilität weiterhin akzeptiert werden. Veraltete „v5.x“-Werte werden ebenfalls akzeptiert.

• width

  string | number | null

  Breite des neuen Videos in Pixeln.

  Wenn der Wert nicht angegeben und der Parameter preset verfügbar ist, wird die angegebene Breite aus der Voreinstellung preset übernommen.

• height

  string | number | null

  Höhe des neuen Videos in Pixeln.

  Wenn der Wert nicht angegeben und der Parameter preset verfügbar ist, wird die angegebene Höhe aus der Voreinstellung preset übernommen.

• preset

  android | android-high | android-low | android_high | android_low | dash-1080p-video | dash-1080p_video | 195 weitere ↓

  Konvertiert ein Video gemäß einer Voreinstellung.

  Sie können hier den Wert 'empty' verwenden, wenn Sie eigene FFmpeg-Parameter festlegen und dafür den Robot verwenden oder wenn Sie nicht möchten, dass Transloadit Encoding-Einstellungen festlegt.

• resize_strategy

  crop | fit | fillcrop | min_fit | pad | stretch(Standard: "pad")

  Wenn die angegebenen Breiten-/Höhenparameter größer als die Abmessungen des Eingabebildes sind, bestimmt resize_strategy, wie das Bild an die angegebene Breite/Höhe angepasst wird. Siehe verfügbare Strategien zur Größenänderung.

• background

  string(Standard: "#00000000")

  Die Hintergrundfarbe des resultierenden Videos im Format "rrggbbaa" (Rot, Grün, Blau, Alpha), wenn die Größenänderungsstrategie "pad" verwendet wird. Die Standardfarbe ist Schwarz.

• framerate

  string | number | string(Standard: "1/5")

  Beim Zusammenführen von Bildern zu einem Video ist dies die Eingabeframerate. Der Wert „1/5“ bedeutet, dass jedes Bild 5 Sekunden lang angezeigt wird, bevor der nächste Frame erscheint (der Kehrwert der Framerate „5“). Entsprechendes gilt für „1/10“, „1/20“ usw. Der Wert „5“ bedeutet, dass 5 Frames pro Sekunde angezeigt werden.

• image_durations

  Array<string | number>(Standard: [])

  Beim Zusammenführen von Bildern zu einem Video können Sie hier festlegen, wie lange jedes Bild im Video angezeigt wird (in Sekunden). Wenn Sie also 3 Bilder übergeben und [2.4, 5.6, 9] festlegen, wird das erste Bild 2,4 s lang, das zweite Bild 5,6 s lang und das letzte Bild 9 s lang angezeigt. Der Parameter duration wird automatisch auf die Summe von image_durations gesetzt, in unserem Beispiel also auf 17. Er kann jedoch weiterhin überschrieben werden. In diesem Fall wird das letzte Bild angezeigt, bis die festgelegte Dauer erreicht ist.

• duration

  string | number | null(Standard: null)

  Beim Zusammenführen von Bildern zu einem Video oder beim Zusammenführen von Audio und Video ist dies die gewünschte Zieldauer in Sekunden. Der Gleitkommawert kann eine Dezimalstelle enthalten. Wenn jedes Bild genau einmal angezeigt werden soll, können Sie die Dauer nach folgender Formel festlegen: duration = numberOfImages / framerate. Dies funktioniert auch für inverse Frameratewerte wie 1/5.

  Wenn Sie diesen Wert auf null (Standardwert) setzen, wird beim Zusammenführen von Bildern mit einer Audiodatei die Dauer der Eingabeaudiodatei verwendet.

  Beim Zusammenführen von Audio- und Videodateien wird standardmäßig die Dauer der längsten Video- oder Audiodatei verwendet.

• audio_delay

  string | number(Standard: 0)

  Beim Zusammenführen eines Videos mit einer Audiodatei sowie beim Zusammenführen von Bildern mit einer Audiodatei zu einem Video ist dies die gewünschte Verzögerung in Sekunden, bevor die Wiedergabe der Audiodatei beginnt. Wenn Sie beispielsweise eine Videodatei ohne Ton mit einer Audiodatei zusammenführen und die Audiowiedergabe erst nach 5 Sekunden statt sofort beginnen soll, verwenden Sie diesen Parameter.

• loop

  boolean(Standard: false)

  Bestimmt, ob die kürzere Mediendatei wiederholt werden soll, bis sie der Dauer der längeren entspricht. Wenn Sie beispielsweise ein Video mit einer Dauer von 1 Minute mit einer Audiodatei mit einer Dauer von 3 Minuten zusammenführen und diese Option aktivieren, wird das Video dreimal hintereinander abgespielt, damit es der Audiolänge entspricht.

• replace_audio

  boolean(Standard: false)

  Bestimmt, ob die Audiospur des Videos durch eine bereitgestellte Audiodatei ersetzt werden soll.

• vstack

  boolean(Standard: false)

  Stapelt die Eingabemedien vertikal. Alle Streams müssen dasselbe Pixelformat und dieselbe Breite haben. Verwenden Sie daher vor diesem Parameter einen Step mit dem Robot /video/encode, um dies sicherzustellen.

• image_url

  string

  Die URL eines Bildes, das mit dem Audio oder Video zusammengeführt werden soll. Wenn dieser Parameter angegeben ist, lädt der Robot das Bild von der URL herunter und führt es mit den anderen Medien zusammen.

• sort_by

  auto | basename | import_order(Standard: "basename")

  Steuert die Reihenfolge gebündelter Eingaben, wenn für den Eingabetyp kein explizit angegebener nummerierter Alias verwendet wird. Nummerierte Aliasse enden mit einem numerischen Suffix wie _1.

  Der Standardwert "basename" behält das natürliche Legacy-Sortierverhalten nach Basisdateinamen bei.

  Legen Sie hierfür "import_order" fest, um die Reihenfolge arraybasierter Import-Steps beizubehalten, wenn alle Eingabedateien vollständige Metadaten zur Importreihenfolge enthalten. "auto" bevorzugt ebenfalls die Importreihenfolge und verwendet als Fallback die natürliche Sortierung nach Basisdateinamen.

• transition

  none | crossfade | fade_to_black(Standard: "none")

  Die Art des Übergangseffekts zwischen aneinandergefügten Videoclips. Gilt nur, wenn mehrere Videos aneinandergefügt werden (mit video_1, video_2 usw. oder mit Eingaben vom Typ pre_roll/post_roll).

  • "none" – Kein Übergangseffekt. Die Videos werden direkt aneinandergefügt.
  • "crossfade" – Ein allmählicher Übergang von einem Clip zum nächsten (Video und Audio).
  • "fade_to_black" – Der aktuelle Clip wird zu Schwarz ausgeblendet, anschließend wird der nächste Clip aus Schwarz eingeblendet.

• transition_duration

  string | number(Standard: 1)

  Die Dauer des Übergangseffekts in Sekunden. Gilt nur, wenn transition nicht "none" ist. Unterstützt Gleitkommawerte (z. B. 0.5 für einen Übergang von 500 ms) und muss bei aktivierten Übergängen größer als 0 sein. Der angewendete Übergang wird automatisch auf die Hälfte des kürzeren Clips im jeweiligen Übergangspaar begrenzt, damit sich Übergänge nicht überschneiden.

Demos

Verwandte Blogbeiträge