Zuletzt aktualisiert: 12. September

Remote-Medien mit cURL an FFmpeg streamen

Tim Koschützki

Mitgründer · Berlin, Deutschland ·

In diesem Beitrag rufen wir Remote-Videodaten mit cURL ab und verarbeiten sie mit FFmpeg, ohne das Eingabevideo lokal zu speichern. Indem Sie die Daten direkt in FFmpeg pipen, können Sie Frames extrahieren, Szenenwechsel analysieren oder dynamische Thumbnails erzeugen, während das Video gestreamt wird.

Überblick

Bei der Arbeit mit Medien ist Effizienz entscheidend. Wenn Sie cURL und FFmpeg zu einer nahtlosen Pipeline kombinieren, können Sie Remote-Mediendaten abrufen und im laufenden Betrieb verarbeiten. Diese Anleitung setzt voraus, dass Sie FFmpeg 6.0+ und cURL 7.81.0+ verwenden, um optimale Kompatibilität und optimalen Funktionsumfang zu erhalten.

Die Beispiele verwenden Bash und MP4-Dateien, die für sequenzielles Lesen vorbereitet sind und deren Metadaten in moov vor den Mediendaten liegen („faststart“). Eine Pipe kann nicht zurückspringen: Gewöhnliche MP4-Dateien mit Metadaten am Ende können selbst nach dem vollständigen Download fehlschlagen. Wenn das Layout unbekannt ist, übergeben Sie die HTTP-URL direkt an FFmpeg, damit es mit Range-Requests springen kann, oder laden Sie die Datei zunächst lokal herunter.

Die Pipeline einrichten

So richten Sie eine Pipeline ein, die Frames aus einem entfernten Videostream extrahiert. Dieser Befehl ruft das Video mit cURL ab und leitet es zur Verarbeitung an FFmpeg weiter:

set -euo pipefail
mkdir thumbnails
curl -fsSL "https://example.com/path/to/video.mp4" | \
ffmpeg -nostdin -n -f mp4 -i pipe:0 \
  -vf "fps=1" \
  -frame_pts 1 \
  -v error \
  -stats \
  thumbnails/thumbnail_%03d.jpg

Erläuterung

-f mp4 gibt das Eingabeformat explizit an
pipe:0 weist FFmpeg an, von der Standardeingabe zu lesen
-frame_pts 1 verwendet den PTS jedes Ausgabeframes als Nummer im Dateinamen, bezogen auf die Zeitbasis der Ausgabe
-v error zeigt nur Fehlermeldungen an
-stats zeigt Fortschrittsinformationen an
set -o pipefail sorgt dafür, dass ein fehlgeschlagener Download die Pipeline fehlschlagen lässt
mkdir thumbnails verlangt ein neues Verzeichnis und schützt so Bilder aus früheren Durchläufen

Fortgeschrittene Anwendungen

Die grundlegende Pipeline lässt sich für komplexere Aufgaben erweitern:

Szenenwechselerkennung: Nutzen Sie die Szenenerkennung von FFmpeg mit passenden Schwellenwerten:

set -euo pipefail
mkdir scenes
curl -fsSL "https://example.com/path/to/video.mp4" | \
ffmpeg -nostdin -n -f mp4 -i pipe:0 \
  -filter_complex "select='gt(scene,0.3)',metadata=print:file=scenes/time.txt" \
  -fps_mode vfr \
  -frame_pts 1 \
  scenes/scene_%03d.jpg

Dieser Befehl erkennt Szenenwechsel mit einem Schwellenwert von 0,3 und schreibt die Frame-Zeitstempel zur weiteren Analyse in scenes/time.txt.

Echtzeitanalyse: Verarbeiten Sie Videostreams mit optimierten Einstellungen:

set -euo pipefail
mkdir analysis-frames
curl -fsSL "https://example.com/path/to/video.mp4" | \
ffmpeg -nostdin -n -f mp4 -i pipe:0 \
  -vf "scale=640:-1,fps=5" \
  -v warning \
  -vcodec ppm \
  analysis-frames/frame_%05d.ppm

Dieses Beispiel skaliert das Video, reduziert die Framerate und speichert PPM-Frames, die ein Analyseprogramm weiterverarbeiten kann.

Fehlerbehebung

Häufige Probleme und Lösungen:

Netzwerkprobleme: Wiederholen Sie Downloads zunächst in eine Datei, bevor Sie verarbeiten. Wenn Sie eine Übertragung wiederholen, die bereits in einen Decoder gepipt wird, können sich Daten aus mehreren Versuchen vermischen:
```
set -euo pipefail
mkdir download
curl --retry 3 --retry-delay 2 -fsSL \
  "https://example.com/path/to/video.mp4" -o download/input.mp4
```
Langsame Verarbeitung: Verringern Sie die Auflösung oder die Framerate. Die Muxing- und Eingabepaket-Queues von FFmpeg beheben nicht das Problem eines Eingabecontainers, der Sprünge erfordert.
Formaterkennung: Verwenden Sie -f mp4 vor -i pipe:0 nur bei MP4-Eingaben. Das Erzwingen eines Demuxers stellt fehlende Metadaten nicht wieder her und macht eine Pipe auch nicht sprungfähig.

Überlegungen zur Performance

Für optimale Performance:

Verringern Sie die Videoauflösung für die Analyse, wenn nicht die volle Auflösung benötigt wird
Verwenden Sie Frameraten, die zu Ihrem Anwendungsfall passen
Ziehen Sie Hardwarebeschleunigung in Betracht, wo sie verfügbar ist
Überwachen Sie die Systemressourcen und passen Sie die Parameter entsprechend an

Beachten Sie, dass die Möglichkeiten der Echtzeitanalyse vom Eingabeformat, der Rechenleistung und der Netzwerkbandbreite abhängen. Bei hochauflösenden Streams sollten Sie die Verarbeitungslast senken, indem Sie die Analyse-Framerate verringern oder eine verkleinerte Version der Eingabe verwenden.

Fazit

Die Kombination aus cURL und FFmpeg bietet ein leistungsfähiges Werkzeugset für die Medienverarbeitung in Echtzeit. Dieser Ansatz vereint Flexibilität und Effizienz für verschiedene Aufgaben der Videoanalyse. Bei Transloadit setzen wir ähnliche Techniken in unserer Medienverarbeitungs-Pipeline ein, um schnelle und zuverlässige Ergebnisse zu liefern.