O que é geração de legendas de imagens?
A geração de legendas de imagens usa modelos de visão computacional e de linguagem para gerar descrições textuais do conteúdo visível de uma imagem. Uma legenda pode resumir objetos, atributos, ações e relações inferidos a partir dos pixels.
Como funciona a geração de legendas de imagens
Os sistemas de geração de legendas combinam extração de características visuais com geração de linguagem para expressar em texto o conteúdo selecionado de uma imagem. A saída é condicionada pelos dados de treinamento, pela estratégia de decodificação e pelos prompts, portanto representa uma inferência do modelo, e não um inventário completo dos pixels. As legendas diferem dos rótulos de objetos por descrever relações ou ações em linguagem natural. Plataformas de mídia as usam como metadados candidatos para acessibilidade, recuperação de conteúdo, apoio à moderação e fluxos de trabalho editoriais.
Informações essenciais
- A qualidade de uma legenda não pode ser medida integralmente pela coincidência de palavras com uma única referência, pois várias descrições podem ser válidas; a avaliação costuma combinar métricas automatizadas com julgamentos humanos sobre fundamentação visual e relevância.
- Um modelo pode gerar um objeto, uma ação ou uma identidade linguisticamente plausível, mas sem evidência visual, de modo que confiar na fluência do texto não substitui adequadamente a fundamentação visual ou a verificação editorial.
- O texto alternativo depende do contexto e pode precisar transmitir a finalidade de uma imagem, em vez de cada detalhe visível, portanto uma legenda genérica gerada não é automaticamente um texto adequado para acessibilidade.
Quando a geração de legendas de imagens é importante
Use as legendas geradas como rascunhos para acessibilidade ou indexação de busca, com revisão humana quando os erros tiverem consequências relevantes. Os modelos podem omitir contexto importante ou inventar detalhes, por isso as legendas não devem ser tratadas como observações verificadas.