Qu’est-ce que la transcription de la parole en texte ?

La transcription de la parole en texte, aussi appelée reconnaissance automatique de la parole ou ASR, convertit la parole en langage écrit. Les résultats peuvent inclure des horodatages, des valeurs de confiance, les langues détectées, la ponctuation et des étiquettes de locuteur.

De nombreux systèmes de reconnaissance convertissent d’abord la forme d’onde en caractéristiques spectrales calculées sur de courts intervalles, puis prédisent la séquence de jetons textuels la plus probable pour ces caractéristiques. Les systèmes traditionnels entraînaient des modèles acoustiques, de prononciation et de langue distincts, tandis que de nombreux systèmes actuels entraînent un seul réseau neuronal de bout en bout qui associe directement la parole au texte. Whisper, par exemple, rééchantillonne l’audio à 16 kHz, calcule un spectrogramme log-Mel et décode le texte à partir de fenêtres de 30 secondes. Les enregistrements plus longs sont donc transcrits fenêtre par fenêtre. La ponctuation, les majuscules, les repères temporels des mots et la détection de la langue peuvent être produits avec la transcription, mais constituent des sorties distinctes, avec leur propre incertitude. La reconnaissance porte sur ce qui a été dit ; déterminer qui l’a dit relève d’une autre tâche, la diarisation des locuteurs, qui peut être ajoutée ensuite. Des services tels qu’Amazon Transcribe distinguent aussi la transcription par lots de fichiers stockés de la transcription en continu d’un flux audio en direct. Les formats et les langues pris en charge peuvent différer entre ces deux modes.

Comment comparer les systèmes de reconnaissance ? La mesure standard est le taux d’erreur sur les mots (WER) : le nombre de substitutions, de suppressions et d’insertions divisé par le nombre de mots d’une transcription de référence. Un taux plus faible est donc préférable, et 0 correspond à une concordance parfaite. Le WER comptabilise aussi des différences sans conséquence de ponctuation, de contractions ou de formatage des nombres, à moins de normaliser d’abord les deux textes. Les auteurs de Whisper ont observé une baisse du WER allant jusqu’à 50 pour cent sur plusieurs jeux de données grâce à la seule normalisation. Les scores varient aussi fortement d’un jeu de données à l’autre. Comparez donc les systèmes candidats sur vos propres enregistrements, avec les mêmes transcriptions de référence et la même normalisation.
Une transcription peut-elle contenir des mots que personne n’a prononcés ? Avec certains modèles, oui. Les auteurs de Whisper citent parmi les défaillances connues les répétitions en boucle, les mots omis au début ou à la fin d’un segment et les hallucinations complètes sans rapport avec l’audio, particulièrement dans les enregistrements longs. Une étude indépendante a soumis à l’API Whisper, en 2023, des extraits d’entretiens d’une longueur équivalente à une phrase, de 10 secondes en moyenne, provenant de locuteurs avec ou sans aphasie. Elle a relevé des expressions ou des phrases inventées dans environ 1 pour cent des extraits, plus souvent chez les locuteurs faisant des pauses plus longues. Elle n’a trouvé aucun phénomène comparable lorsque les extraits concernés ont été traités par les services de Google, Amazon, Microsoft, AssemblyAI et RevAI. Il s’agit d’un taux par court extrait : il ne permet donc pas de prédire la fréquence à laquelle un enregistrement d’une heure est touché. Examinez les longues pauses et les passages sans parole ; dans l’évaluation de WhisperX, la segmentation de l’audio par détection d’activité vocale avant le décodage a réduit les hallucinations et les répétitions.
Vais-je obtenir un repère temporel pour chaque mot ? Pas avec tous les systèmes de reconnaissance, et la précision varie. Whisper prédit les instants de début et de fin de segments entiers ; les repères temporels des mots sont ensuite déduits des poids d’attention. Les auteurs de WhisperX ont mesuré que ces repères étaient moins précis que ceux obtenus par alignement forcé avec un modèle de phonèmes distinct. L’API Speech-to-Text v1 de Google ne fournit les décalages temporels des mots que lorsque enableWordTimeOffsets vaut true et présente cette fonctionnalité comme expérimentale, avec une précision variable. Amazon Transcribe renvoie quant à lui les instants de début et de fin de chaque mot. Les repères temporels des segments suffisent pour effectuer une recherche dans une transcription ou accéder à un passage ; la mise en évidence mot par mot et le montage fondé sur la transcription nécessitent des repères au niveau des mots. Les fichiers de sous-titres et de sous-titres d’accessibilité sont synchronisés par phrase : les recommandations du W3C décrivent des sous-titres d’accessibilité d’une ou deux lignes, chaque phrase étant associée à son instant d’affichage.
Puis-je utiliser les scores de confiance pour déterminer ce qui doit être vérifié ? Seulement après avoir testé les seuils sur votre propre audio. Amazon Transcribe renvoie un score de confiance pour chaque mot, mais la référence de l’API Speech-to-Text v1 de Google indique que sa valeur de confiance n’est garantie ni comme exacte ni comme systématiquement fournie, et que 0.0 est une valeur sentinelle signifiant que la valeur n’a pas été définie, et non que le mot est incorrect. Chaque fournisseur calcule son propre score : un seuil ajusté pour un système de reconnaissance ne doit donc pas être réutilisé avec un autre.

Utilisez les transcriptions pour les sous-titres d’accessibilité, la recherche, les résumés, l’accessibilité, la modération ou l’analyse. La précision peut diminuer en présence de bruit, d’accents, de paroles qui se chevauchent ou de vocabulaire spécialisé. Les résultats dont l’utilisation peut avoir des conséquences importantes doivent donc être vérifiés.

Avant la mise en production

Consultez les recommandations du système de reconnaissance concernant les données d’entrée avant d’ajouter des étapes de nettoyage ou de réencodage. Google recommande un audio FLAC ou LINEAR16 sans perte à la fréquence d’échantillonnage native de l’enregistrement et indique qu’une réduction du bruit appliquée avant la reconnaissance diminue généralement la précision. Amazon Transcribe recommande également les formats sans perte.
Si vous fournissez un vocabulaire personnalisé ou renforcez la pondération de certaines expressions pour les noms et le jargon, refaites des essais sur des enregistrements qui ne contiennent pas ces termes. La documentation de Google avertit que ce renforcement peut faire apparaître une expression dans la transcription alors qu’elle n’a pas été prononcée.
Faites corriger les transcriptions par une personne avant de les publier comme sous-titres d’accessibilité. Les recommandations d’accessibilité du W3C indiquent que les sous-titres d’accessibilité générés automatiquement ne satisfont pas aux exigences d’accessibilité tant que leur exactitude complète n’a pas été confirmée. La vérification ne porte pas uniquement sur les mots reconnus : le W3C décrit les sous-titres d’accessibilité comme un texte synchronisé qui restitue la parole ainsi que les informations sonores non verbales nécessaires à la compréhension du contenu. Son explication de l’exigence des WCAG relative aux sous-titres d’accessibilité ajoute que ceux-ci indiquent qui parle.

Le Robot /speech/transcribe de Transloadit transcrit la parole contenue dans les fichiers audio ou vidéo. Son paramètre format sélectionne le résultat : json avec des mots horodatés, text en texte brut, des fichiers de sous-titres srt ou webvtt, ou meta, qui stocke la transcription sur le fichier pour que les Steps suivants puissent l’utiliser.

La reconnaissance est effectuée par le fournisseur sélectionné avec provider. La prise en charge des langues et les fonctionnalités telles que les étiquettes de locuteur dépendent donc de ce fournisseur. La langue parlée se définit à l’aide d’un paramètre différent selon le fournisseur (source_language ou target_language), et aucun de ces paramètres ne traduit la parole. La documentation du Robot répertorie les fournisseurs et les paramètres actuels.

Découvrir les fonctionnalités audio de Transloadit

Qu’est-ce que la transcription de la parole en texte ?

Fonctionnement de la transcription de la parole en texte

Points clés

Quand la transcription de la parole en texte est importante

Utiliser la transcription de la parole en texte

Avant la mise en production

Comment Transloadit contribue à la transcription de la parole en texte

Références

Transformer vos connaissances sur les médias en une chaîne de traitement opérationnelle