Mit Transloadit NSFW-Bilder automatisch filtern

Joseph Grabski

Content-Leiter · Rochester, Vereinigtes Königreich · Bio anzeigen

Manuelle Inhaltsmoderation kann äußerst ineffizient und teuer sein, insbesondere bei Plattformen mit großen Mengen nutzergenerierter Inhalte. Glücklicherweise lässt sich der Großteil dieser Arbeit häufig automatisieren. Werkzeuge wie der Robot /image/describe von Transloadit machen es einfach, anstößige Inhalte ohne menschliches Zutun herauszufiltern, damit Ihre Moderatorinnen und Moderatoren ihre Arbeit wirksamer erledigen können. Schauen wir uns an, wie das funktioniert.

Warum sind NSFW-Filter wichtig?

Bevor wir zu den technischen Details kommen, werfen wir kurz einen Blick darauf, warum NSFW-Filter so wichtig sind:

1. Nutzerschutz: eine sichere Umgebung für alle Nutzer erhalten, insbesondere wenn Ihre Plattform kinderfreundlich sein soll.
2. Markensicherheit: den Ruf Ihrer Marke davor schützen, dass Nutzer unangemessene Inhalte veröffentlichen.
3. Rechtskonformität: Auflagen zur Inhaltsregulierung erfüllen, die etwa in der EU streng sein können.
4. Nutzererlebnis: die Zufriedenheit insgesamt steigern, da die meisten Nutzer beim Surfen weder Gewaltdarstellungen noch Nacktheit begegnen möchten.

Wie Sie sehen, gibt es viele Gründe, die Moderation Ihrer Bildinhalte ernst zu nehmen. Diese Aufgabe Menschen zu übertragen, ist allerdings alles andere als ideal, gelinde gesagt. Große Mengen an Bildern manuell durchzugehen, kann selbst unter besten Umständen zeitaufwendig sein – und unter den schlechtesten traumatisierend.

Vielleicht lässt sich daran etwas ändern …

Die Inhaltsmoderation automatisieren

NSFW-Filter und Inhaltsmoderation sind für viele Online-Plattformen bekanntermaßen eine Herausforderung. Dank Fortschritten im maschinellen Lernen lässt sich die Bildklassifizierung inzwischen jedoch weitgehend automatisieren. Genau das nutzt der Robot /image/describe von Transloadit unter der Haube. Konkret setzen wir ML-Dienste von AWS und GCP ein, damit Ihre Bilder mit den fortschrittlichsten verfügbaren Modellen klassifiziert werden.

Wie können Sie das also nutzen, um zu verhindern, dass NSFW-Bilder auf Ihre Website gelangen?

Den /image/describe-Robot nutzen

Der Robot /image/describe von Transloadit kann Bilder analysieren und detaillierte Beschreibungen liefern, mit denen wir potenziell NSFW-Inhalte erkennen können. Anschließend kombinieren wir diese Beschreibungen mit dem Robot /file/filter, um alle Bilder auszusortieren, die anstößige Tags enthalten, die wir nicht zulassen möchten.

Hier ein Beispiel für eine Assembly:

{
  "steps": {
    ":original": {
      "robot": "/upload/handle"
    },
    "described": {
      "use": ":original",
      "robot": "/image/describe",
      "provider": "aws",
      "explicit_descriptions": true,
      "format": "meta",
      "granularity": "list",
      "result": true
    },
    "filtered": {
      "result": true,
      "use": "described",
      "robot": "/file/filter",
      "declines": [["${file.meta.descriptions}", "!=", ""]],
      "error_on_decline": true,
      "error_msg": "One file contains explicit content!"
    },
    "exported": {
      "use": "filtered",
      "robot": "/s3/store",
      "credentials": "YOUR_AWS_CREDENTIALS",
      "url_prefix": "https://demos.transloadit.com/"
    }
  }
}

Diese Assembly tut Folgendes:

1. Sie verarbeitet die hochgeladene Datei.
2. Sie analysiert das Bild mit AWS Rekognition⁠.
3. Sie filtert Bilder heraus, die anstößige Schlüsselwörter enthalten (diese finden Sie hier⁠ für AWS und hier⁠ für GCP).
4. Sie speichert die Bilder in S3, sofern alle die Prüfung bestehen.

Ihren NSFW-Blocker verfeinern

Natürlich kann dieser Ansatz für Sie zu weit gefasst sein. Viele Websites erlauben manche NSFW-Inhalte, aber nicht alle. Für manche ist deshalb eine Filterung nach eigenen Schlüsselwörtern die bessere Strategie.

Sehen Sie sich das folgende Beispiel an:

{
  "steps": {
    ":original": {
      "robot": "/upload/handle"
    },
    "described": {
      "use": ":original",
      "robot": "/image/describe",
      "provider": "aws",
      "explicit_descriptions": true,
      "format": "meta",
      "granularity": "list",
      "result": true
    },
    "filtered": {
      "result": true,
      "use": "described",
      "robot": "/file/filter",
      "declines": [["${file.meta.descriptions}", "includes", "Visually Disturbing"]],
      "error_on_decline": true,
      "error_msg": "One file contains explicit content!"
    },
    "exported": {
      "use": "filtered",
      "robot": "/s3/store",
      "credentials": "YOUR_AWS_CREDENTIALS",
      "url_prefix": "https://demos.transloadit.com/"
    }
  }
}

Wir folgen erneut demselben Muster wie zuvor – nur prüfen wir diesmal nicht auf beliebige anstößige Beschreibungen, sondern filtern ausschließlich Bilder, die visuell verstörende Inhalte enthalten. Natürlich können Sie das je nach Art der Inhalte, die Sie zulassen möchten, an die Anforderungen Ihrer Website anpassen.

Fazit

Mit dem Robot /image/describe von Transloadit können Sie einen robusten NSFW-Filter aufbauen und so eine sichere Online-Umgebung erhalten.

Sie möchten mehr erfahren? Wir haben die Inhaltsmoderation in unseren früheren Blogbeiträgen ausführlich behandelt. Wenn Sie sich also fragen, worauf Sie sich als Nächstes konzentrieren sollen, warum sehen Sie sich nicht an, wie Sie Gesichter auf Fotos automatisch weichzeichnen?