KI und generierte Medien # KI-Bildanalyse: Aufgaben, Architektur und Schutzmaßnahmen Verstehen Sie Klassifizierung, Detektion, OCR, Bildbeschreibung, Embeddings und Moderation als unterschiedliche Bildanalyseaufgaben. Veröffentlicht am 11. August 2026 ## Wichtigste Erkenntnisse * Wählen Sie eine Aufgabe und einen Ausgabevertrag aus, bevor Sie ein Modell wählen. * Die Vorverarbeitung kann die Konsistenz verbessern, aber auch kleine Texte oder Details entfernen, die das Modell benötigt. * Bewerten Sie falsch-positive und falsch-negative Ergebnisse nach ihren Auswirkungen auf das Produkt. „Analysiere dieses Bild“ verbirgt mehrere unterschiedliche Probleme. Ein Klassifikator wählt Labels aus, ein Detektor lokalisiert Regionen, OCR extrahiert Text, ein Bildbeschreibungssystem beschreibt Inhalte und ein Embedding stellt Ähnlichkeit dar. ## In diesem Leitfaden 1. [Mit dem Ausgabevertrag statt mit dem Modell beginnen](#ai-image-analysis-section-1) 2. [Die Aufgabe einem bestimmten Transloadit-Robot zuordnen](#ai-image-analysis-section-2) 3. [Eingaben vorbereiten, ohne Nachweise zu zerstören](#ai-image-analysis-section-3) 4. [Konfidenzwerte interpretieren und Schwellenwerte verantwortungsvoll festlegen](#ai-image-analysis-section-4) 5. [OCR-Ergebnisse, Embeddings und multimodale Ergebnisse sorgfältig handhaben](#ai-image-analysis-section-5) 6. [Schutzmaßnahmen für Menschen und sensible Entscheidungen konzipieren](#ai-image-analysis-section-6) 7. [Aufgabenspezifische Tests erstellen](#ai-image-analysis-section-7) 8. [Analyse als versionierten asynchronen Dienst betreiben](#ai-image-analysis-section-8) ## Worauf es besonders ankommt * Erfassen Sie Modell- und Prompt-Versionen, damit Ergebnisse reproduziert und migriert werden können. * Nutzen Sie menschliche Prüfungen und Einspruchsmöglichkeiten für Moderation oder Entscheidungen, die Menschen betreffen. ## Mit dem Ausgabevertrag statt mit dem Modell beginnen KI-Bildanalyse umfasst verschiedene Aufgaben, die unterschiedliche Arten von Ergebnissen erzeugen. Bei der Klassifizierung werden einem gesamten Bild Labels zugewiesen. Die Detektion lokalisiert Objekte mit Begrenzungsrahmen oder Regionen. Bei der Segmentierung werden Pixel mit Labels versehen. OCR extrahiert Text, Bildbeschreibung erzeugt Sprache und Embeddings codieren Ähnlichkeit als numerische Vektoren. Ein generisches Feld `analysis` verbirgt diese wichtigen Unterschiede und erschwert es, das nachgelagerte Verhalten zu validieren. Definieren Sie zuerst die geschäftliche Fragestellung und das Ausgabeschema. Legen Sie fest, ob mehrere Antworten zulässig sind, wie Positionen dargestellt werden, welche Sprachen relevant sind, was Unsicherheit bedeutet und wann eine Überprüfung erforderlich ist. Ein Tool zur Katalogverschlagwortung, ein Dokumentenleser, ein Zuschnittassistent und ein Sicherheitsfilter können dasselbe Bild untersuchen, benötigen jedoch jeweils unterschiedliche Daten, Schwellenwerte, Evaluationsdatensätze und Verfahren zur Fehlerbehandlung. ### Klassifizierung Die Klassifizierung gibt ein oder mehrere Labels für das Gesamtbild zurück, ohne sie zu lokalisieren. ### Detektion und Segmentierung Detektion und Segmentierung lokalisieren Inhalte anhand geometrischer Angaben, die an eine bestimmte Eingabevariante gebunden bleiben. ### OCR und Bildbeschreibung Beide erzeugen Text, doch OCR transkribiert sichtbare Zeichen, während die Bildbeschreibung visuelle Inhalte zusammenfasst. ### Embedding-Vektoren Embedding-Vektoren bilden Ähnlichkeit innerhalb eines kompatiblen Modellraums ab, statt ein Bild mit Worten zu erklären. ## Die Aufgabe einem bestimmten Transloadit-Robot zuordnen Verwenden Sie `/image/describe`, wenn englische Objektlabels oder unterstützte Kategorien für explizite Inhalte die Anforderung erfüllen. Der Robot kann eine Liste von Labels oder eine ausführlichere Ausgabe mit Konfidenzwerten zurückgeben. Verwenden Sie `/image/facedetect`, wenn Gesichtsregionen oder Gesichtsausschnitte benötigt werden. Die Gesichtsdetektion findet gesichtsähnliche Regionen. Sie stellt keine Identität fest und darf nicht als biometrische Identifikation dargestellt werden. Verwenden Sie `/image/ocr`, um Text aus Bildern zu extrahieren, und `/document/ocr`, um Text aus PDFs zu extrahieren. Beide können JSON, Metadaten oder Klartext zurückgeben; eine ausführlichere Ausgabe enthält auf Anforderung auch Koordinaten. Andere Dokumentformate sollten mit `/document/convert` in PDF konvertiert werden, bevor `/document/ocr` ausgeführt wird. Verwenden Sie ein bildfähiges `/ai/chat`-Modell für kontextbezogene, schemagesteuerte Fragen, die von den spezialisierten Robots nicht abgedeckt werden. Dieser Robot befindet sich in einer frühen Entwicklungsphase. Da Anfragen mit Schlüsseln des Anbieters mit einem Aufschlag abgerechnet werden, sollten Sie vor dem Produktionseinsatz seinen aktuellen Status und seine Preise prüfen. Seine Antworten bleiben probabilistisch und erfordern eine aufgabenspezifische Evaluation. ## Eingaben vorbereiten, ohne Nachweise zu zerstören Erstellen Sie ein deterministisches Analysederivat mit validiertem Medientyp, korrigierter Ausrichtung, begrenzten Abmessungen und einem unterstützten Encoding. Dies reduziert Varianz, Datenübertragung und Kosten. Erfassen Sie Prüfsumme, Breite, Höhe, Zuschnitt, Drehung und Beziehung zur Quelldatei. Bewahren Sie die Quelldatei auf, damit verbesserte Modelle oder geänderte Richtlinien später ein neues Ergebnis erzeugen können. Jede Transformation ist mit Abwägungen verbunden. Eine Verkleinerung kann kleine Texte, sicherheitsrelevante Details oder weit entfernte Objekte unkenntlich machen. Ein Zuschnitt kann Kontext entfernen. Kompressionsartefakte können Kanten oder Zeichen ähneln. Wenn Koordinaten oder Masken zurückgegeben werden, gehören sie zu genau dem analysierten Derivat. Drehen, beschneiden oder ändern Sie dessen Größe anschließend nur, wenn die Anwendung auch diese geometrischen Daten in das neue Koordinatensystem transformiert. ### Koordinatenursprung Dokumentieren Sie, wo x und y beginnen und ob die Werte Pixel oder normalisierte Bruchteile sind. ### Variantenidentität Speichern Sie bei jedem geometrischen Ergebnis die Prüfsumme und die Abmessungen des Bildes, das für die Inferenz verwendet wurde. ### Transformationsverlauf Bewahren Sie die Informationen zu Zuschnitt, Drehung und Skalierung auf, die erforderlich sind, um Ergebnisse einer anderen Variante zuzuordnen. ## Konfidenzwerte interpretieren und Schwellenwerte verantwortungsvoll festlegen Der Konfidenzwert eines Modells ist keine universelle Wahrscheinlichkeit dafür, dass ein Label zutrifft. Werte können je nach Modell, Klasse, Sprache und Bildsegment unterschiedlich kalibriert sein. Wählen Sie Schwellenwerte anhand repräsentativer gelabelter Daten aus und evaluieren Sie anschließend Präzision, Recall und Fehlerkosten für jede wichtige Kategorie. Überprüfen Sie die Schwellenwerte erneut, nachdem Sie ein Modell, einen Anbieter, einen Vorverarbeitungsschritt oder die Eingabepopulation geändert haben. Falsch-positive und falsch-negative Ergebnisse haben selten dieselben Auswirkungen. Eine falsch-positive Sicherheitsablehnung kann legitime Nutzer blockieren, während ein übersehenes unsicheres Bild Betrachter gefährden kann. Verwenden Sie separate Schwellenwerte und Prüfwarteschlangen, sofern die Richtlinien dies zulassen. Speichern Sie das unveränderte Modellergebnis und die Richtlinienentscheidung als getrennte Datensätze, damit eine spätere Richtlinienänderung nicht erfordert, die ursprüngliche Inferenz nachträglich anders darzustellen. ## OCR-Ergebnisse, Embeddings und multimodale Ergebnisse sorgfältig handhaben Die OCR-Qualität variiert je nach Schriftsystem, Sprache, Auflösung, Perspektive, Beleuchtung, Layout und Typografie. Für die Suche können einfache extrahierte Textpassagen ausreichen, während Rechnungen und Formulare oft Koordinaten, Seitenzahlen, Lesereihenfolge und eine fachbereichsspezifische Validierung erfordern. Gehen Sie niemals davon aus, dass ein plausibles Datum, ein plausibler Gesamtbetrag oder eine plausible Kontonummer korrekt ist. Validieren Sie Formate und lassen Sie folgenreiche Felder von Menschen bestätigen. Embeddings eignen sich für die Nächste-Nachbarn-Suche, die Erkennung von Duplikaten und die Clusterbildung. Eine Distanz ist jedoch nur innerhalb eines kompatiblen Modell- und Vorverarbeitungsraums aussagekräftig. Speichern Sie die Version des Embedding-Modells zusammen mit dem Vektor und erstellen Sie Indizes neu oder trennen Sie sie, wenn sich Modelle ändern. Ein multimodales Sprachmodell kann Beobachtungen erklären oder zusammenführen, doch seine flüssig formulierte Antwort sollte die zugrunde liegenden OCR-Ergebnisse, Labels, Geometriedaten oder Herkunftsnachweise nicht ersetzen. ## Schutzmaßnahmen für Menschen und sensible Entscheidungen konzipieren Die Detektion eines Gesichts unterscheidet sich grundlegend von der Identifikation einer Person. Der Identitätsabgleich bringt biometrische sowie einwilligungsbezogene, sicherheitsrelevante und rechtliche Aspekte mit sich, die eine gewöhnliche Detektion von Gesichtsregionen nicht löst. Minimieren Sie die Datenerhebung, schützen Sie Ergebnisse durch strenge Zugriffskontrollen, legen Sie Aufbewahrungsfristen fest und sorgen Sie, wo erforderlich, für Hinweise und Prüfungen. Leiten Sie aus dem Erscheinungsbild keine geschützten Merkmale, Gesundheit, Absichten oder kriminelles Verhalten ab. Für Moderationsentscheidungen und andere Entscheidungen, die Nutzer betreffen, sind dokumentierte Richtlinien, eine menschliche Prüfung mehrdeutiger oder folgenreicher Fälle und ein Einspruchsweg erforderlich. Vermeiden Sie es, ein Konto aufgrund einer einzelnen Modellantwort automatisch zu sperren oder eine Person zu melden. Prüfende sollten geeignete Nachweise einsehen können, ohne unnötige private Daten zu erhalten. Das System sollte zudem erfassen, welche Modellausgabe und welche Richtlinienversion die Entscheidung gestützt haben. ### Datenminimierung Analysieren und speichern Sie nur die Informationen, die für den angegebenen Zweck erforderlich sind. ### Aufgabentrennung Behandeln Sie Inferenz, Richtlinienbewertung und die abschließende menschliche Handlung als getrennte Phasen. ### Einsprüche Ermöglichen Sie betroffenen Nutzern, gegen wichtige automatisierte oder unterstützte Entscheidungen Einspruch einzulegen. ## Aufgabenspezifische Tests erstellen Erstellen Sie einen gelabelten Evaluationsdatensatz, der den Produktionsbedingungen ähnelt und auch seltene, aber kostspielige Fehler umfasst. Segmentieren Sie ihn nach Gerät, Beleuchtung, Sprache, Bildtyp, Inhaltskategorie und allen Personengruppen, bei denen die Leistung abweichen kann. Testen Sie bei der Detektion sowohl die Lokalisierung als auch die Klassengenauigkeit. Testen Sie bei OCR die Zeichengenauigkeit und die Korrektheit auf Feldebene. Testen Sie beim Retrieval, ob relevante Elemente auf nützlichen Rangpositionen erscheinen. Probabilistische Systeme sollten nicht nur anhand exakt erwarteter Zeichenfolgen getestet werden. Prüfen Sie Schemas, zulässige Labels, Koordinatengrenzen, unzulässige Inferenzen und Aufgabenmetriken. Verwenden Sie einen festen Regressionsdatensatz sowie eine regelmäßig aktualisierte Stichprobe, die Drift erkennt. Lassen Sie Prüfende nach Möglichkeit Labels vergeben, ohne die Modellantworten zu sehen, dokumentieren Sie Abweichungen und führen Sie die Testsuite erneut aus, bevor Sie Anbieter, Modelle, Prompts, Schwellenwerte oder die Vorverarbeitung ändern. ## Analyse als versionierten asynchronen Dienst betreiben Speichern Sie Quell-ID, Analysederivat, Aufgabentyp, Robot, Anbieter, Modell oder Konfiguration, Prompt-Version, Richtlinienversion, Zeitstempel, unverarbeitetes Ergebnis, normalisiertes Ergebnis und Prüfstatus. Verwenden Sie die Prüfsumme der Quelle und die vollständige Analysekonfiguration als Cache-Schlüssel. Eine Anfrage mit demselben Schlüssel kann ein Ergebnis wiederverwenden, während ein neues Modell oder eine neue Richtlinie eine separate Version erzeugt, statt den Verlauf unbemerkt umzuschreiben. Betreiben Sie die Inferenz mit Queues, Fristen, begrenzten Retries und expliziten Fallbacks. Überwachen Sie Latenz, Alter der Queue-Einträge, Schemafehler, Anbieterfehler, Korrekturen durch Prüfende, Ergebnisse der Schwellenwertanwendung und Kosten nach Aufgabe und Inhaltssegment. Schützen Sie Quell-URLs und Zugangsdaten in Protokollen. Legen Sie im Voraus fest, ob Sie bei Nichtverfügbarkeit eines Anbieters die Verarbeitung verzögern, einen validierten Fallback verwenden, einen unbekannten Status zurückgeben oder eine manuelle Prüfung verlangen. ### Kostenkontrollen Begrenzen Sie die Eingabeauflösung, verarbeiten Sie geeignete Aufgaben gebündelt, cachen Sie stabile Ergebnisse und setzen Sie umfassende multimodale Analysen nur in Fällen ein, die sie erfordern. ### Barrierefreiheit Verwenden Sie generische Labels nicht automatisch als Alternativtext wieder. Barrierefreie Beschreibungen erfordern Seitenkontext und redaktionelle Regeln. ### Erneute Verarbeitung Führen Sie die Analyse ausgewählter Assets anhand der gespeicherten Modell- und Richtlinienversionen erneut aus, wenn sich das System ändert. ## Wissenswerte technische Details * Klassifizierung, Objektdetektion, Segmentierung, OCR, Gesichtsdetektion und die Erzeugung von Embeddings liefern unterschiedliche Datenstrukturen und sollten nicht hinter einem einzigen generischen Analysefeld verborgen werden. * Ein Konfidenzwert ist modellspezifisch und keine universelle Wahrscheinlichkeit. Schwellenwerte sollten anhand repräsentativer Daten kalibriert und erneut geprüft werden, wenn sich das Modell oder die Zusammensetzung der Eingaben ändert. * Analyseergebnisse benötigen eine Versionierung der Modelle und Richtlinien, damit Teams erklären können, warum sich Metadaten geändert haben, und Assets gezielt erneut verarbeiten können, sobald ein besseres Modell verfügbar ist. * Die OCR-Genauigkeit variiert je nach Sprache, Schriftsystem, Auflösung, Perspektive, Beleuchtung und Typografie. Für viele Anwendungsfälle benötigen extrahierte Texte zudem Angaben zu Lesereihenfolge und Koordinaten. * Embeddings unterstützen Ähnlichkeitsvergleiche und den Abruf, liefern jedoch keine für Menschen verständliche Erklärung. Abstände sind außerdem nur innerhalb eines kompatiblen Modellraums aussagekräftig. * Biometrische Identifikation und gewöhnliche Gesichtsdetektion sind grundlegend verschiedene Fähigkeiten mit unterschiedlichen Auswirkungen auf Datenschutz, Einwilligung, Sicherheit und Recht. ## Ein praxisnaher Ansatz 1. 1\ Stellen Sie einen repräsentativen, gelabelten Datensatz zusammen und definieren Sie Akzeptanzmetriken für jedes Segment. 2. 2\ Erstellen Sie deterministische Eingabederivate und bewahren Sie die Beziehungen zu den Quelldaten. 3. 3\ Führen Sie die Inferenz asynchron mit Fristen, Retries und idempotenter Speicherung der Ergebnisse aus. 4. 4\ Überwachen Sie nach der Veröffentlichung Drift, Korrekturen, Latenz und Kosten. Ein vierstufiger Medien-Workflow ## Wann Transloadit hilfreich ist Verwenden Sie /image/describe für Labels oder Kategorien expliziter Inhalte, /image/facedetect für Gesichtsregionen und /image/ocr, wenn Text aus Bildern extrahiert werden soll. Bildfähige /ai/chat-Modelle können kontextbezogenere Prompts verarbeiten. /ai/chat ist jedoch ein Robot in einem frühen Entwicklungsstadium. Prüfen Sie daher seinen aktuellen Status und seine Preise, bevor Sie sich im Produktivbetrieb darauf verlassen. Halten Sie Herkunftsinformationen zu Anbieter, Modell und Prüfung in den Anwendungsmetadaten fest. ## Architekturgrenze KI-Analysen sind probabilistisch und aufgabenbezogen. Transloadit macht aus der Antwort eines allgemeinen Modells keine automatisch korrekte Geschäftsentscheidung. Sensible Maßnahmen erfordern Richtlinien und eine Prüfung. ## Häufig gestellte Fragen ### Was ist der Unterschied zwischen Klassifizierung und Detektion? Die Klassifizierung weist einem Bild als Ganzem Labels zu. Die Detektion gibt zusätzlich Positionen einzelner Instanzen zurück, meist als Begrenzungsrahmen oder Regionen. ### Identifiziert `/image/facedetect` eine Person? Nein. Der Robot erkennt Gesichtsregionen und kann Koordinaten oder Bildausschnitte zurückgeben. Die Identitätserkennung ist eine andere biometrische Fähigkeit mit zusätzlichen Anforderungen an Genauigkeit, Einwilligung, Sicherheit und Rechtmäßigkeit. ### Kann ich Embeddings verschiedener Modelle vergleichen? Nicht zuverlässig. Vektordimensionen und Abstandsgeometrie sind modellspezifisch. Speichern Sie Modellversionen zusammen mit den Vektoren und verwenden Sie kompatible Indizes oder eine kontrollierte Migration. ### Wie sollte ich einen Konfidenzschwellenwert auswählen? Kalibrieren Sie ihn anhand repräsentativer, gelabelter Daten und berücksichtigen Sie die Kosten falsch-positiver und falsch-negativer Ergebnisse. Bewerten Sie ihn erneut, sobald sich Modell, Vorverarbeitung, Richtlinien oder die Zusammensetzung der Eingaben ändern. ### Sollte ein Analysefehler einen Upload blockieren? Nur wenn die Produktrichtlinien vor der Annahme tatsächlich ein erfolgreiches Ergebnis verlangen. Andernfalls bewahren Sie den Upload auf, kennzeichnen Sie die Analyse als ausstehend oder unbekannt und versuchen Sie sie erneut oder leiten Sie sie zur Prüfung weiter, ohne ein sicheres Ergebnis zu erfinden. ## Erstellen Sie den Workflow Entwickeln Sie das Konzept mithilfe der Robot-Dokumentation und funktionsfähiger Demos zu einer getesteten Assembly weiter. ### Relevante Robots * [/image/describe](/de/docs/robots/image-describe.md) * [/image/facedetect](/de/docs/robots/image-facedetect.md) * [/image/ocr](/de/docs/robots/image-ocr.md) * [/ai/chat EN (English)](/docs/robots/ai-chat.md) * [Lesen Sie die API-Dokumentation](/de/docs.md) * [Entdecken Sie funktionsfähige Demos EN (English)](/demos.md) * [Kostenlosen Workspace erstellen](/c/signup/) KI und generierte Medien ## Mit verwandten Leitfäden fortfahren * [Prüfworkflow für KI-gestützte Bildmetadaten](/de/guides/ai-for-media-seo.md)\ Nutzen Sie KI für Medien-SEO, wo sie wirklich hilft: bei Inventarisierung, Metadatenvorschlägen, barrierefreien Entwürfen und messbarer Asset-Optimierung. * [KI-Produktbildgenerierung mit Schutzmaßnahmen auf SKU-Ebene](/de/guides/ai-product-image-generation.md)\ Generieren Sie Produktbilder, ohne Merkmale, Farben, Verpackungen oder Aussagen zu erfinden, die Kunden mit dem echten Produkt verwechseln könnten. * [KI-Bildersetzung: Masken, Inpainting und Prüfung](/de/guides/ai-image-replacement.md)\ Ersetzen Sie Bildbereiche mit KI und halten Sie Auswahlmasken, verlässliche Quelldaten, visuelle Kontinuität und redaktionelle Prüfung sichtbar. * [Generative KI im E-Commerce: fünf praktische Beispiele](/de/guides/generative-ai-in-ecommerce.md)\ Nutzen Sie generative KI für fünf E-Commerce-Aufgaben und schützen Sie Katalogfakten, Kanalvorgaben, Freigaben und deterministische Ausgaben. * [KI-basierte Videoanalyse: Signale, Metriken und Architektur](/de/guides/ai-video-analytics.md)\ Entwerfen Sie KI-Videoanalysen, die Inhaltssignale, Wiedergabetelemetrie, Geschäftsereignisse, Evaluation und zeitlich abgestimmte Nachweise trennen.