KI und generierte Medien # KI-basierte Videoanalyse: Signale, Metriken und Architektur KI-basierte Videoanalysen trennen Inhaltssignale, Wiedergabetelemetrie, Geschäftsereignisse, Evaluation und zeitlich zugeordnete Nachweise. Veröffentlicht am 18. August 2026 ## Wichtigste Erkenntnisse * Trennen Sie Inhaltserkennung, Player-Qualität, Publikumsinteraktion und Geschäftsergebnisse, da jeweils unterschiedliche Nachweise erforderlich sind. * Verknüpfen Sie Inhaltsbeobachtungen mit Zeitstempeln oder Segmenten und messen Sie, ob der Stichprobenplan kurze, aber wichtige Ereignisse übersieht. * Nutzen Sie die Instrumentierung des Players für Publikumsinteraktion und QoE. Die Medienverarbeitung allein kann nicht zeigen, wie eine zuschauende Person die Wiedergabe tatsächlich erlebt hat. „Videoanalyse“ kann sich darauf beziehen, was in einer Aufnahme erscheint, wie ein Player funktioniert, wie Zuschauer interagieren oder wie sich Videos auf ein Geschäftsergebnis auswirken. Diese Fragen erfordern unterschiedliche Nachweise. Eine zweckmäßige Architektur trennt sie daher zunächst voneinander, bevor KI hinzugefügt wird. ## In diesem Leitfaden 1. [Vier Bedeutungen von Videoanalyse unterscheiden](#ai-video-analytics-section-1) 2. [Beobachtungen, Metriken und Identität auf der Zeitleiste definieren](#ai-video-analytics-section-2) 3. [Visuelle Nachweise stichprobenartig erfassen, ohne die Abdeckung überzubewerten](#ai-video-analytics-section-3) 4. [Frames und Transkriptnachweise gezielt kombinieren](#ai-video-analytics-section-4) 5. [Erkennungen im relevanten Intervall evaluieren](#ai-video-analytics-section-5) 6. [Nachweise zur Publikumsinteraktion und Wiedergabe im Player erfassen](#ai-video-analytics-section-6) 7. [Kosten, Latenz, Datenschutz und Fehlerpfade kontrollieren](#ai-video-analytics-section-7) 8. [Metrikdefinitionen gemeinsam mit dem Workflow versionieren](#ai-video-analytics-section-8) ## Vier Bedeutungen von Videoanalyse unterscheiden Die Inhaltsanalyse untersucht, was in einer Aufnahme zu sehen ist oder geschieht. Die Publikumsanalyse untersucht im Rahmen einer genehmigten Richtlinie für Identifikatoren, wer sie wie lange wiedergegeben hat. Die Quality-of-Experience-Analyse misst Startzeiten, Pufferung, Fehler und Wiedergabeverhalten. Die Geschäftsanalyse verknüpft diese Signale mit Anwendungsergebnissen wie Abschluss oder Kauf. Legen Sie vor der Datenerfassung eine Entscheidung fest: eine Prüfung weiterleiten, ein Segment finden, Wiedergabeprobleme diagnostizieren, die Interaktion mit Programmen vergleichen oder einen Funnel messen. Die Kategorien können in einem kontrollierten Analysesystem zusammengeführt werden, ihre Rohnachweise stammen jedoch aus unterschiedlichen Quellen. Eine Modellantwort kann fehlende Player- oder Geschäftsereignisse nicht ersetzen. ## Beobachtungen, Metriken und Identität auf der Zeitleiste definieren Eine Beobachtung sollte die Version der Aufnahme, einen Zeitstempel oder Zeitraum, die vorhergesagte Klasse, gegebenenfalls einen aussagekräftigen Konfidenzwert, die Modell- und Workflow-Version sowie den Prüfstatus angeben. Eine Metrik sollte anschließend festlegen, wie Beobachtungen für eine bestimmte Entscheidung gefiltert, gruppiert, dedupliziert und aggregiert werden. Halten Sie diese beiden Spezifikationen getrennt. Bewahren Sie die Zuordnungen zwischen Quellzeit, normalisierten Medien, Thumbnails, Transkriptsegmenten, Clips und Player-Positionen. Trimmen, variable Frameraten, Unterbrechungen, ersetzte Aufnahmen und verzögerte Ergebnisse können Zeitversätze verschieben. Lehnen Sie veraltete Beobachtungen ab oder ordnen Sie sie neu zu, statt sie stillschweigend der neuesten Datei mit demselben Titel zuzuweisen. ## Visuelle Nachweise stichprobenartig erfassen, ohne die Abdeckung überzubewerten Der `/video/thumbs`-Robot von Transloadit kann die gewünschte Anzahl in regelmäßigen Abständen extrahieren oder explizite Zeitversätze verwenden und gibt die Ergebnisse in chronologischer Reihenfolge aus. Gleichmäßig verteilte Stichproben eignen sich für eine breite Szenenabdeckung, können jedoch kurze Objekte oder Handlungen zwischen den Stichproben übersehen. Erhöhen Sie die Stichprobendichte oder richten Sie die Stichproben gezielt an der Dauer des relevanten Ereignisses aus. Verwenden Sie eine optisch ansprechende „smarte“ Thumbnail-Auswahl nicht als vermeintlich unverzerrte Analysestichprobe. Bewahren Sie bei bekannten Intervallen, Szenenwechseln oder potenziellen Erkennungen den exakten Zeitpunkt des Frames und den umgebenden Kontext. Wenn kurze Ereignisse wesentliche Folgen haben, kann eine spezialisierte Analyse mit voller Framerate erforderlich sein. ## Frames und Transkriptnachweise gezielt kombinieren Das Beispiel bereitet parallel zwölf regelmäßige visuelle Stichproben und ein JSON-Transkript vor. `/speech/transcribe` kann Wörter und Segmente mit Zeitstempeln zurückgeben. Unterstützte Sprecherlabels beschreiben wiederkehrende Stimmen, keine verifizierten Identitäten. Übergeben Sie die vorbereiteten Nachweise an einen evaluierten externen Erkennungsdienst, da Transloadit keinen allgemeinen Robot für Videoanalysen bereitstellt. Ordnen Sie Audio- und visuelle Ergebnisse derselben Zeitleiste der Aufnahme zu, behandeln Sie sie jedoch nicht als austauschbar. Gesprochenes kann etwas beschreiben, das im Frame nicht zu sehen ist, und ein Objekt kann erscheinen, ohne erwähnt zu werden. Bewahren Sie die unverarbeitete Ausgabe des Anbieters gemäß den Richtlinien auf, validieren Sie das Anwendungsschema und lassen Sie die nachgelagerte Logik Übereinstimmungen oder Konflikte ausdrücken. Visuelle Nachweise und Sprachnachweise mit Zeitstempeln für die Analyse vorbereiten ``` { "steps": { ":original": { "robot": "/upload/handle" }, "analysis_frames": { "use": ":original", "robot": "/video/thumbs", "count": 12, "format": "jpg", "width": 640 }, "transcript": { "use": ":original", "robot": "/speech/transcribe", "provider": "auto", "format": "json" } } } ``` ## Erkennungen im relevanten Intervall evaluieren Messen Sie Präzision und Recall für die angeforderten Klassen sowie zeitliche Überlappung, Grenzfehler, Konfidenzkalibrierung und vollständig übersehene Ereignisse. Segmentieren Sie die Ergebnisse nach Dauer, Kamerabewegung, schwacher Beleuchtung, Overlays, Sprache, Rauschen, Animation und Inhaltstyp. Ein hoher Wert für Labels auf Dateiebene kann unbrauchbare Zeitstempel verbergen. Fixieren Sie einen repräsentativen Holdout-Datensatz und vergleichen Sie Änderungen an Modell, Stichprobenauswahl, Transkription, Schwellenwerten und Vorverarbeitung gemeinsam. Ergänzen Sie negative Clips, bei denen keine Beobachtung ausgegeben werden sollte. Erfassen Sie die Korrekturzeit der prüfenden Personen und Fehler bei nachgelagerten Entscheidungen, da ein nominell genaues Modell dennoch übermäßigen Such- oder Prüfaufwand verursachen kann. ## Nachweise zur Publikumsinteraktion und Wiedergabe im Player erfassen Aufrufe, Wiedergabedauer, Abschluss, Startverzögerung, erneutes Puffern und Wiedergabefehler erfordern eine clientseitige Instrumentierung oder eine Instrumentierung des Players. Transloadit kann VOD-Dateien, Thumbnails und Transkripte vorbereiten. Die Verarbeitung einer Mediendatei zeigt jedoch nicht, ob eine Person die Wiedergabe gestartet, abgebrochen, gepuffert oder abgeschlossen hat. Senden Sie diese Ereignisse an das Analysesystem, das die Metrikdefinitionen verwaltet. Definieren Sie die Semantik von Sitzung, Aufruf, zuschauender Person, Wiedergabedauer, Abschluss und Fehlern, bevor Sie ein Dashboard erstellen. Minimieren Sie Kennungen, vermeiden Sie personenbezogene Daten in Freitextfeldern und dokumentieren Sie verspätete, blockierte, duplizierte oder offline erfasste Ereignisse. Verknüpfen Sie Playerdaten über stabile Aufnahme- und Variantenkennungen mit Inhaltsbeobachtungen, nicht über Dateinamen. ## Kosten, Latenz, Datenschutz und Fehlerpfade kontrollieren Schätzen Sie den Aufwand pro hochgeladener Minute für Frame-Stichproben, Audiodauer, Erkennungsaufrufe, Prüfzeit, aufbewahrte Zwischenergebnisse und wiederholte Analysen. Ein sparsamer explorativer Durchlauf kann Inhalte einer tiefergehenden Analyse zuführen. Validieren Sie jedoch dessen Rate übersehener Ereignisse. Speichern Sie Nachweise anhand der Prüfsumme der Quelle und der Workflow-Version im Cache, damit Retries beim Export die Inferenz nicht wiederholen. Bewahren Sie die Aufnahme auf und geben Sie keine Metrik zurück, wenn Nachweise unvollständig, fehlerhaft formatiert, falsch ausgerichtet oder nicht richtlinienkonform sind. Begrenzen Sie Retries, beschränken Sie den Zugriff, bereinigen Sie Logs, verifizieren Sie Callbacks und definieren Sie Aufbewahrungsfristen für Medien, Transkripte, Erkennungsergebnisse und Player-Ereignisse. Vermeiden Sie Rückschlüsse auf Identitäten oder sensible Merkmale, sofern diese nicht gesondert begründet und geregelt sind. ## Metrikdefinitionen gemeinsam mit dem Workflow versionieren Erfassen Sie für jede veröffentlichte Metrik die Richtlinie zur Stichprobenauswahl, die Vorverarbeitung, den Transkriptionsanbieter, das Erkennungsmodell, das Schema, die Schwellenwerte, die Zeitleistenzuordnung, das Player-SDK und die Aggregationsdefinition. Änderungen am Anbieter oder Player können einen Trend verschieben, selbst wenn das Publikumsverhalten und die Inhalte stabil bleiben. Kommentieren oder berechnen Sie betroffene Berichte gezielt neu. Überwachen Sie fehlende Stichproben, die Transkriptabdeckung, zeitliche Korrekturen, die Vollständigkeit von Player-Ereignissen, Modelldrift, Queue-Latenz, den Prüfrückstand und die Kosten nach Programmtyp. Führen Sie Änderungen auf festen Aufnahmen und bei begrenztem Traffic parallel zur vorherigen Version ein und bewahren Sie genügend Herkunftsinformationen auf, um erklären zu können, warum sich ein Dashboard geändert hat. ## Wissenswerte technische Details * Aufgabengrenze: KI-basierte Videoanalyse wandelt Beobachtungen von Inhalten oder Wiedergabeereignisse in definierte Metriken um, die eine Anwendungsentscheidung unterstützen. Videoerkennung prognostiziert Objekte, Handlungen, Szenen, Sprache oder Ereignisse. Die Analyse wandelt kontrollierte Signale in entscheidungsrelevante Metriken um, während Zielgruppen- und Wiedergabeanalysen Client-Telemetrie erfordern. * Eingabeanforderungen: Definieren Sie vor der Auswahl eines Modells die Entscheidung, die Aufnahmeversion, die Zeitleiste, den Stichprobenplan, die Transkripteinstellungen, das Erkennungsschema, die Player-Ereignisse und die Verknüpfungen mit Geschäftsdaten. Die Eingabevorbereitung muss zusammen mit dem Modell evaluiert werden, da die Vorverarbeitung sowohl Nachweise als auch Rauschen entfernen kann. * Ausgabeanforderungen: Geben Sie zeitlich zugeordnete Beobachtungen mit Aufnahmeidentität, Herkunft von Modell und Workflow, Konfidenz, Prüfstatus und Herkunft der Metriken zurück, statt unbelegte Schlussfolgerungen auf Dateiebene zu liefern. Eine gültige Antwort beweist nicht, dass ein Ereignis, Zeitstempel, zeitlich zugeordneter Untertitel oder rekonstruiertes Detail korrekt ist. * Methodenwahl: Verwenden Sie spezialisierte Erkennung für Inhaltsnachweise, clientseitige Instrumentierung für Zuschauer- und Wiedergabenachweise sowie Anwendungsanalysen für kontrollierte Verknüpfungen und Entscheidungsmetriken. Modellnamen allein beschreiben weder Trainingsdaten, Schwellenwerte, Latenz und Lizenzierung noch das Fehlerverhalten eines eingesetzten Systems. * Evaluierung: Messen Sie Präzision und Recall von Zeitstempeln oder Segmenten, Kalibrierung, übersehene kurze Ereignisse, Segmentabdeckung, Vollständigkeit der Player-Ereignisse, Latenz, Prüfaufwand und Kosten pro analysierter Minute. Aggregierte Bewertungen sollten nach Inhaltstyp aufgeschlüsselt werden, damit häufige, einfache Beispiele keine Fehler bei wichtigen Grenzfällen verdecken. * Fehler und Sicherheit: Bewahren Sie die Aufnahme auf und geben Sie kein Ergebnis aus, wenn Stichprobennahme, Transkription, Erkennung, Ausrichtung an der Zeitleiste oder Player-Instrumentierung die angeforderte Metrik nicht stützen können. Minimieren Sie Zuschauerkennungen und private Medien, beschränken Sie Aufbewahrung und Zugriff, vermeiden Sie Rückschlüsse auf Identitäten oder sensible Merkmale und prüfen Sie die rechtlichen Anforderungen für den jeweiligen Einsatzkontext. * Betrieb: Versionieren Sie Stichprobenauswahl, Transkription, Erkennung, Schwellenwerte, Zeitleistenzuordnungen und Metrikdefinitionen. Überwachen Sie fehlende Nachweise, Drift, Latenz, Korrekturen und Kosten nach Inhaltsklasse. ## Ein praxisnaher Ansatz 1. 1\ Dokumentieren Sie die Entscheidung, das Ausgabeschema und die Ablehnungskriterien für KI-basierte Videoanalysen. 2. 2\ Erstellen Sie einen repräsentativen Evaluationsdatensatz für KI-basierte Videoanalysen und bewahren Sie jede Quelle, jede Vorverarbeitungsentscheidung und jeden Herkunftsnachweis auf. 3. 3\ Führen Sie für den vollständigen Workflow anhand repräsentativer Nachweise einen Benchmark durch und vergleichen Sie das Ergebnis mit vordefinierten, aufgabenspezifischen Akzeptanzkriterien. 4. 4\ Führen Sie KI-basierte Videoanalysen mit expliziten Prüf- und Ausweichpfaden ein. Überwachen Sie anschließend die Betriebssignale, anhand derer sich bestimmen lässt, ob die Videoanalysen weiterhin nützlich sind. Ein vierstufiger Medien-Workflow ## Wann Transloadit hilfreich ist Verwenden Sie /video/thumbs für dokumentierte regelmäßige oder zeitversetzte Frame-Stichproben, /speech/transcribe für Wörter oder Segmente mit Zeitstempeln und /video/encode für normalisierte Derivate rund um einen evaluierten externen Erkennungsdienst. Erfassen Sie Zuschauer- und QoE-Ereignisse im Player-Analysesystem. ## Architekturgrenze Transloadit kann Frames erfassen, Sprache transkribieren, Medien für externe Erkennung vorbereiten, VOD-Ausgaben codieren und Ergebnisse exportieren. Es stellt keinen allgemeinen Robot für Videoanalysen bereit, instrumentiert keine Player des Publikums, identifiziert keine Zuschauer und berechnet keine Metriken für Interaktion oder Quality of Experience. ## Häufig gestellte Fragen ### Was ist der Unterschied zwischen Videoerkennung und Videoanalyse? Die Erkennung prognostiziert Inhaltsbeobachtungen wie Objekte, Szenen, Sprache oder Handlungen. Die Analyse wendet definierte Filter, Verknüpfungen und Aggregationen auf diese Beobachtungen oder auf Player-Ereignisse an, damit sie eine konkrete Entscheidung unterstützen. ### Können stichprobenartig erfasste Thumbnails jedes Ereignis in einem Video erkennen? Nein. Regelmäßige oder zeitversetzte Stichproben liefern begrenzte visuelle Nachweise, und kurze Ereignisse können zwischen ihnen auftreten. Legen Sie die Abdeckung anhand des kürzesten wichtigen Ereignisses fest und verwenden Sie eine dichtere spezialisierte Analyse oder eine spezialisierte Analyse mit voller Framerate, wenn übersehene Ereignisse schwerwiegende Folgen haben. ### Kann die Medienverarbeitung die Zuschauerinteraktion oder QoE berechnen? Nein. Metriken für Interaktion und Quality of Experience erfordern Client- oder Player-Ereignisse wie Wiedergabeversuche, Wiedergabedauer, Start, Pufferung, Abschluss und Fehler. Das Analysesystem muss diese Ereignisse definieren und aggregieren. ### Was sollte eine KI-Videobeobachtung enthalten? Speichern Sie die exakte Aufnahmeversion, den Zeitstempel oder Zeitraum, die vorhergesagte Klasse, gegebenenfalls eine aussagekräftige Konfidenz, die Modell- und Workflow-Version, die zugrunde liegenden Nachweise und den Prüfstatus, damit eine später ermittelte Metrik nachvollziehbar und korrigierbar bleibt. ## Erstellen Sie den Workflow Entwickeln Sie das Konzept mithilfe der Robot-Dokumentation und funktionsfähiger Demos zu einer getesteten Assembly weiter. ### Relevante Robots * [/video/thumbs](/de/docs/robots/video-thumbs.md) * [/speech/transcribe](/de/docs/robots/speech-transcribe.md) * [/video/encode](/de/docs/robots/video-encode.md) * [Lesen Sie die API-Dokumentation](/de/docs.md) * [Entdecken Sie funktionsfähige Demos EN (English)](/demos.md) * [Kostenlosen Workspace erstellen](/c/signup/) KI und generierte Medien ## Mit verwandten Leitfäden fortfahren * [Generative KI im E-Commerce: fünf praktische Beispiele](/de/guides/generative-ai-in-ecommerce.md)\ Nutzen Sie generative KI für fünf E-Commerce-Aufgaben und schützen Sie Katalogfakten, Kanalvorgaben, Freigaben und deterministische Ausgaben.