パノプティックセグメンテーションとは?
パノプティックセグメンテーションは、すべてのピクセルに意味クラスを割り当てながら、数えられる物体の個々のインスタンスを区別します。セマンティックセグメンテーションの網羅性と、インスタンス単位の識別を組み合わせた手法です。
パノプティックセグメンテーションの仕組み
パノプティックセグメンテーションは、シーン全体に対して重複のない一つの解釈を生成します。すべてのピクセルにカテゴリーを割り当て、対象となる前景の物体にはインスタンス識別情報も割り当てます。道路や空のように形の定まらない「stuff」領域は、全体をクラスで分類する必要がありますが、個体としての識別は不要です。一方、人のような「thing」クラスは、個体ごとに分離できます。多くの場合、融合段階でセマンティック予測とインスタンス予測の整合性を取り、最終的なマップを生成します。この出力は、シーン全体の網羅と物体単位の選択の両方が必要な、シーン理解や編集のワークフローに役立ちます。
要点
- 各出力セグメントは通常、カテゴリー識別子で表されます。数えられるクラスでは、ピクセルマスクに紐付いたインスタンス識別子も使用します。
- Panoptic Quality は認識性能とマスクの重なり具合を組み合わせた指標です。そのため、空間的な一致度の低さだけでなく、セグメントの見逃しや誤検出も減点の対象になります。
- 独立した検出マスクとは異なり、パノプティックセグメンテーションの結果では各ピクセルに単一のセグメントを割り当てます。そのため、インスタンス候補間の重複を解消する必要があります。
パノプティックセグメンテーションの用途
空などの連続した領域と、車両などの個々の物体の両方を識別する必要がある場合に選択します。出力がより豊富になる分、通常はどちらか一方のタスクだけを行う場合よりも、多くのアノテーションと計算量が必要です。