O que é segmentação semântica?
A segmentação semântica atribui um rótulo de classe a cada pixel de uma imagem. Ela identifica categorias de regiões, mas normalmente não distingue instâncias separadas de objetos que pertencem à mesma classe.
Como funciona a segmentação semântica
Os modelos de segmentação semântica inferem um mapa denso em que cada posição de saída corresponde a uma predição de classe para um pixel ou trecho da imagem de entrada. As redes frequentemente reduzem a resolução das características para aprender o contexto e depois a aumentam, de modo que os limites podem ser menos precisos que o interior das classes. O treinamento exige máscaras rotuladas e uma taxonomia de classes definida, incluindo uma política para pixels de fundo ou ignorados. A saída é usada em etapas de criação de máscaras, compreensão de cenas, medição, moderação ou edição automatizada.
Informações essenciais
- As predições costumam ser armazenadas como uma máscara de índices de classe com um único canal ou como mapas de pontuação por classe; redimensionar uma máscara de índices exige amostragem pelo vizinho mais próximo para evitar a criação de rótulos inexistentes.
- A interseção sobre união avalia a sobreposição por classe e revela falhas ocultas pela acurácia bruta por pixel quando grandes regiões de fundo dominam a imagem.
- Dois carros encostados podem receber uma única região contínua de “carro”, pois a saída semântica codifica a categoria, não a identidade do objeto; para separá-los, é necessário um pós-processamento que considere as instâncias ou outro modelo.
Quando a segmentação semântica é importante
Use esse método quando uma aplicação precisar de regiões no nível do pixel, como estrada, céu, vegetação, pessoas ou fundo. Prefira a segmentação de instâncias quando for necessário contar ou rastrear objetos separados da mesma classe.