動画アノテーションとは?

動画アノテーションは、動画の選択した部分にラベル、領域、タイムスタンプ、トラック、説明などを付与することです。アノテーションは手動で入力するほか、コンピュータービジョンシステムで生成してからレビューする場合もあります。

動画アノテーションの仕組み

アノテーションデータセットは、意味ラベルを時間区間、個々のフレーム、空間的な形状、またはフレーム間で追跡される識別情報に結び付けます。スキーマでは、ボックス、ポリゴン、マスク、キーポイント、自由記述テキスト、イベントカテゴリなどを表現でき、来歴情報には各注釈を作成した人やシステムを記録します。座標と時刻の規約もデータ契約の一部です。アノテーションは、メディアのレビューと、後続の検索、品質管理、アクセシビリティ、モデル学習のパイプラインとの間に位置します。

要点

  1. メディアがトリミングやコンフォームを経ている場合や、可変フレームレートの場合、フレーム番号は曖昧になります。明示されたタイムベースに基づくタイムスタンプは、交換用の座標として、より長く一貫性を保てます。
  2. 物体のトラックには、安定した識別情報に加え、可視状態や遮蔽状態の明示が必要です。これらがないと、補間によって無関係な物体が結び付けられたり、対象が隠れている間にも形状が描かれたりする場合があります。
  3. 正規化座標は、生のピクセル座標よりも解像度の変更に対応しやすくなります。ただし、利用側では表示時の回転、クロップ領域、原点、境界を含むかどうかについて、引き続き取り決めが必要です。

動画アノテーションが重要になる場面

アノテーションを使って、学習データの準備、レビュー対象イベントのマーキング、シーンの検索対応を行います。自動ラベル付けは手作業を減らせますが、タイミングや分類の誤りが後続処理に伝播する可能性があるため、検証が必要です。

メディアの知識を実用的なパイプラインに

単一の宣言的 API で、アップロード、処理、AI、ストレージ、配信を連携できます。エンコードスタックの管理、スケーリング、形式の変化への対応はお任せください。

Transloadit を無料で試す