¿Qué es la diarización de hablantes?
La diarización de hablantes divide el habla grabada en segmentos según quién habla. Asigna etiquetas como Hablante 1 y Hablante 2, pero no necesariamente identifica a los hablantes por su nombre.
Cómo funciona la diarización de hablantes
Un pipeline de diarización detecta regiones de habla, obtiene representaciones vectoriales de la voz u otras características de los hablantes y agrupa los segmentos que parecen proceder de la misma persona. El resultado responde a «quién habló y cuándo» mediante etiquetas anónimas válidas solo dentro de la grabación, a menos que los datos de registro previo o una etapa de identificación independiente proporcionen las identidades. La segmentación y la agrupación pueden ejecutarse como etapas separadas o conjuntamente, y la atribución de hablantes puede calcularse solo a partir del audio o alinearse después con el resultado de la transcripción. El resultado suele combinarse con marcas de tiempo de las palabras para crear subtítulos con atribución de hablantes, notas de reuniones o archivos que permiten búsquedas.
Datos clave
- ¿Es «Hablante 1» la misma persona en todos los archivos? No. La diarización no requiere conocer de antemano quiénes son los hablantes, y sus etiquetas son marcadores intercambiables, por lo que una etiqueta solo tiene significado dentro de la grabación de la que procede. Mantener nombres consistentes entre grabaciones requiere relacionar las etiquetas de cada grabación con personas conocidas, ya sea manualmente o mediante una etapa de identificación de hablantes independiente, por ejemplo, una que compare cada voz diarizada con modelos de hablantes registrados previamente.
- ¿Tengo que saber cuántas personas hablan? La tarea en sí no presupone un número conocido de hablantes ni se limita a dos, pero las API de transcripción alojadas suelen pedir un intervalo esperado o un máximo, por ejemplo,
MaxSpeakerLabelsen Amazon Transcribe y los números mínimo y máximo de hablantes en Google Cloud Speech-to-Text. Algunos modelos neuronales de diarización también limitan el número de hablantes por su arquitectura, así que haz pruebas con el grupo más grande que sea realista en tu caso. - ¿Qué ocurre cuando varias personas hablan a la vez? El habla superpuesta incumple la suposición simple de que cada intervalo de tiempo pertenece a una sola etiqueta. Los sistemas que admiten superposición pueden emitir pistas simultáneas de hablantes en lugar de una única secuencia exclusiva; los sistemas basados en agrupación sin detección de superposición asignan un hablante por segmento, por lo que el habla del otro hablante puede contabilizarse como habla no detectada al evaluar el resultado.
- ¿Cómo se mide la precisión de la diarización? La tasa de error de diarización (DER, por sus siglas en inglés) suma las duraciones del habla detectada como falsa alarma, el habla no detectada y la confusión de hablantes, y divide el resultado entre la duración total del habla de referencia. Es independiente de la tasa de error de palabras, por lo que una transcripción con palabras correctas puede aun así atribuirlas al hablante equivocado. Las cifras de DER publicadas dependen de las grabaciones de prueba y de decisiones de evaluación, como si se ignora un breve margen alrededor de cada límite de turno de habla y si se evalúan las regiones superpuestas; por ello, compara cifras solo de grabaciones comparables evaluadas con los mismos ajustes.
Cuándo es importante la diarización de hablantes
Activa la diarización para reuniones, entrevistas, pódcast o llamadas de soporte que necesiten transcripciones con identificación de hablantes. Los servicios de transcripción suelen ofrecerla como una opción de «etiquetas de hablantes». Las etiquetas pueden aparecer solo en los datos estructurados de la transcripción y no en los archivos de subtítulos, así que comprueba el formato de salida necesario; en ese caso, puede ser necesario generar a partir de los datos estructurados los subtítulos que muestran quién habla. Un segmento de voz de WebVTT etiqueta el texto de un bloque con el nombre del hablante como una anotación que pueden usar las hojas de estilo; el nombre no forma parte del texto del bloque, así que escríbelo también en ese texto si los espectadores deben leerlo. La precisión disminuye con el habla superpuesta, el ruido de fondo y la mala calidad del audio, y también depende del número de hablantes.
Cómo ayuda Transloadit con la diarización de hablantes
El Robot /speech/transcribe de Transloadit solicita al proveedor de transcripción que distinga a los hablantes cuando speaker_labels es true, y max_speakers establece el número máximo de hablantes que se detectarán. Las etiquetas como speaker_1 se adjuntan a las palabras y a los segmentos agrupados en las salidas json y meta, mientras que las salidas text, srt y webvtt no cambian.
Solo algunos proveedores de transcripción admiten etiquetas de hablantes, y estas etiquetas marcan voces recurrentes en lugar de nombres reales. La documentación del Robot enumera los proveedores compatibles.
Fuentes
- Park et al.: Revisión de la diarización de hablantes: avances recientes con aprendizaje profundo
- Fujita et al.: Diarización neuronal de hablantes de extremo a extremo con autoatención
- Referencia de pyannote.metrics: tasa de error de diarización y opciones de margen y superposición
- Guía para desarrolladores de Amazon Transcribe: separación de hablantes (diarización)
- Google Cloud Speech-to-Text: Detecta distintos hablantes en una grabación de audio
- W3C WebVTT: segmentos de voz para marcar quién habla en un bloque de texto