O que é segmentação de vídeo?
A segmentação de vídeo divide as imagens em unidades temporais ou espaciais significativas, como planos, cenas ou objetos rastreados. A unidade adequada depende de a tarefa envolver edição, interpretação ou análise em nível de pixel.
Como funciona a segmentação de vídeo
A segmentação pode operar no tempo, dividindo um programa nas transições, ou no espaço, atribuindo regiões dos quadros a classes ou objetos individuais. Sistemas de detecção de limites de planos analisam mudanças entre quadros, enquanto modelos de segmentação semântica e de instâncias produzem máscaras e podem precisar de rastreamento para manter as identidades ao longo do tempo. Esses resultados alimentam índices de edição, buscas, efeitos, medições e pipelines de aprendizado de máquina, com critérios de avaliação escolhidos para a unidade específica.
Informações essenciais
- Um corte seco produz uma mudança abrupta entre quadros, enquanto transições graduais de entrada, saída e fusão distribuem os indícios por vários quadros; um detector ajustado apenas para cortes abruptos pode deixar de detectar transições graduais.
- A segmentação semântica atribui aos pixels uma classe, como “pessoa”, enquanto a segmentação de instâncias separa pessoas individuais dentro dessa classe, o que altera a estrutura de saída necessária.
- Executar um modelo de imagem de forma independente em cada quadro pode fazer os limites das máscaras e os rótulos dos objetos oscilarem; características temporais ou rastreamento são usados para melhorar a consistência entre quadros.
Quando a segmentação de vídeo é importante
Um pipeline pode segmentar vídeos para detectar cenas, isolar objetos, substituir fundos ou analisar conteúdo. Cortes temporais e máscaras de pixels exigem modelos diferentes e não devem ser tratados como saídas intercambiáveis.