¿Qué es la generación de descripciones de imágenes?
La generación de descripciones de imágenes utiliza modelos de visión por computadora y de lenguaje para generar descripciones textuales del contenido visible de una imagen. Una descripción puede resumir objetos, atributos, acciones y relaciones inferidos a partir de los píxeles.
Cómo funciona la generación de descripciones de imágenes
Los sistemas de generación de descripciones de imágenes combinan la extracción de características visuales con la generación de lenguaje para expresar como texto una selección del contenido de la imagen. La salida está condicionada por los datos de entrenamiento, la estrategia de decodificación y los prompts, por lo que representa una inferencia del modelo y no un inventario completo de los píxeles. Las descripciones se diferencian de las etiquetas de objetos porque describen relaciones o acciones en lenguaje natural. Las plataformas multimedia las usan como posibles metadatos para la accesibilidad, la recuperación, el apoyo a la moderación y los flujos de trabajo editoriales.
Datos clave
- La calidad de una descripción no puede medirse por completo mediante la coincidencia de palabras con una única referencia, porque varias descripciones pueden ser válidas; la evaluación suele combinar métricas automatizadas con valoraciones humanas sobre el respaldo visual y la pertinencia.
- Un modelo puede generar un objeto, una acción o una identidad lingüísticamente plausibles que carezcan de evidencia visual, por lo que confiar en una redacción fluida es un mal sustituto del respaldo visual o la verificación editorial.
- El texto alternativo depende del contexto y puede necesitar transmitir el propósito de una imagen en lugar de todos los detalles visibles, por lo que una descripción genérica generada no es automáticamente un texto adecuado para la accesibilidad.
Cuándo es importante la generación de descripciones de imágenes
Usa las descripciones generadas como borradores para la accesibilidad o la indexación de búsquedas, con revisión humana cuando los errores tengan consecuencias importantes. Los modelos pueden omitir contexto importante o inventar detalles, por lo que las descripciones no deberían tratarse como observaciones verificadas.