Soutenance de doctorat de Sicheng Mao : Modélisation générative pour le regroupement robuste de locuteurs

Lundi 19 octobre 2026 à 14h00 (heure de Paris) à Télécom Paris

Télécom Paris, 19 place Marguerite Perey F-91120 Palaiseau [y aller], amphi 2 et en visioconférence

Titre original : Generative Modeling for Robust Speaker Diarization

Jury

Laurent GIRIN, Professeur, Université Grenoble Alpes (Rapporteur)
Lukas BURGET, Associate Professor, Brno University (Rapporteur)
Jean-Francois BONASTRE, Professeur, Avignon University (Examinateur)
Angélique DRÉMEAU, Enseignante-chercheuse, ENSTA (Examinatrice)
Roland BADEAU, Professeur, Télécom Paris (Directeur de thèse)
Anthony LARCHER, Professeur, Université du Mans (Invité)
Mathieu FONTAINE, Maître de Conférences, Télécom Paris (Invité)

Résumé

La parole est une capacité linguistique fondamentale de l’être humain. Dans la production et la vie modernes, la reconnaissance vocale est largement appliquée à la recherche d’information, à la compréhension de la parole et aux interactions homme-machine efficaces. En tant que composante essentielle de celle-ci, le regroupement de locuteurs traite le problème de « qui a parlé quand » — il segmente et regroupe des segments homogènes en termes de locuteur à partir de leurs caractéristiques vocales. Cette technologie est largement appliquée dans des scénarios de conversation à plusieurs locuteurs, tels que les enregistrements téléphoniques, les entretiens et les enregistrements de réunions, en fournissant des informations d’annotation plus fines pour les tâches en aval de transcription de la parole en texte.

Dans cette thèse, nous adoptons des méthodes de modélisation générative pour le regroupement de locuteurs, afin d’assurer une robustesse face aux environnements acoustiques difficiles, au nombre variable de locuteurs et à la parole superposée.

Les modèles de regroupement de locuteurs à l’état de l’art relèvent de deux paradigmes principaux, à savoir le paradigme de segmentation-regroupement (segmentation-clustering) et le paradigme de classification multi-étiquettes (multi-label classification). Pour le premier paradigme, nous nous concentrons sur la régularisation des représentations profondes de locuteurs au moyen d’un auto-encodeur variationnel hiérarchique (HVAE), afin d’améliorer leur gaussianité, ce qui permet une meilleure généralisation aux données hors domaine et profite au modèle de regroupement bayésien variationnel par chaîne de Markov cachée en aval (VB-HMM). Pour le second paradigme, nous nous concentrons sur la modélisation conjointe du regroupement de locuteurs et de la séparation de sources dans un cadre multicanal. Nous proposons un modèle de séparation à queue lourde (heavy-tailed) ainsi qu’un modèle bayésien de regroupement de locuteurs avec une loi a priori Bêta, afin d’améliorer le modèle neuronal multicanal de séparation aveugle de sources et de regroupement de locuteurs (Neural FCASA).

Toutes les soutenances de doctorat