コンテンツモデレーションとは?

コンテンツモデレーションは、単にモデレーションとも呼ばれ、投稿されたメディアを製品のルール、安全ポリシー、法的要件に照らして評価することです。ワークフローでは、決定論的なチェック、自動分類器、人によるレビューを組み合わせる場合があります。

コンテンツモデレーションの仕組み

モデレーションパイプラインは、ポリシーを機械可読な検査と人による判断状態に変換し、アップロード、フレーム、音声、テキスト、メタデータに適用します。判断材料には、ファイル検証、ハッシュ、ルール、分類器、ユーザーからの報告、専門のレビュアーによる評価などがあり、しきい値に基づいて不確実なケースを振り分けます。結果によってコンテンツの保存、公開、エスカレーションの可否を決めるため、一般的な品質保証とは異なります。このシステムは取り込み時と公開時の境界に配置し、判断を評価対象のアセットのバージョンに結び付けておく必要があります。

要点

  1. 間隔を空けて抽出した少数のフレームだけで動画をモデレーションすると、短時間の内容を見逃すことがあります。抽出密度を上げるか、シーンを考慮して抽出すると、時間軸上の網羅性は向上しますが、デコードと分類の処理量が増えます。
  2. 分類器のスコアはモデルの出力であり、ポリシーに基づく判断ではありません。しきい値はカテゴリとユースケースごとに調整し、曖昧なケースや影響の大きいケースを扱う経路を明示的に設ける必要があります。
  3. 再処理では、結果を正確なファイルまたは不変のアセットバージョンに結び付ける必要があります。そうしないと、差し替えられたアップロードに、異なるバイト列に対して与えられた承認が引き継がれるおそれがあります。

コンテンツモデレーションが重要になる場面

安全でないアップロードをユーザーや下流システムに届けてはならない場合は、公開配信の前にモデレーションを配置してください。自動判断では偽陽性と偽陰性が生じることがあるため、重大な影響を伴うケースには、レビューと異議申し立ての経路を定義してください。

メディアの知識を実用的なパイプラインに

単一の宣言的 API で、アップロード、処理、AI、ストレージ、配信を連携できます。エンコードスタックの管理、スケーリング、形式の変化への対応はお任せください。

Transloadit を無料で試す