Agenda

Soutenance de doctorat de Jean-Rémy Conti : Biais en reconnaissance faciale: mesure et réduction en post-traitement

Vendredi 27 juin 2025 à 10h (heure de Paris), à Télécom Paris

Télécom Paris, 19 place Marguerite Perey F-91120 Palaiseau [y aller], amphi 7 et en visioconférence

Jury

  • Gilles Gasso, Professeur, INSA Rouen (LITIS) : Rapporteur
  • Amaury Habrard, Professeur, Université Jean Monnet (UJM) : Rapporteur
  • Nicolas Baskiotis, Maître de conférences, Sorbonne Université (ISIR) : Examinateur
  • Thomas Bonald, Professeur, Télécom Paris (LTCI), France : Examinateur
  • Charlotte Laclau, Maîtresse de conférences, Télécom Paris (LTCI) : Examinatrice
  • Stéphan Clémençon, Professeur, Télécom Paris (LTCI) : Directeur de thèse
  • Aurélien Bellet, Directeur de recherche, INRIA : Invité
  • Vincent Despiegel, Research team leader, Idemia : Invité

Résumé

Les modèles de FR (Face Recognition, FR) ont atteint une précision sans précédent grâce aux avancées de l’apprentissage profond, permettant leur déploiement dans un nombre croissant de contextes. Toutefois, des préoccupations majeures subsistent quant à leur équité, en particulier vis-à-vis de certains sous-groupes démographiques, chacun caractérisé par un attribut dit sensible tel que le genre ou l’origine ethnique.

Cette thèse étudie les biais algorithmiques dans les systèmes de FR selon deux axes complémentaires : l’évaluation et la réduction des biais.

La première partie de cette thèse introduit un cadre statistique rigoureux pour le calcul des métriques empiriques de performance et d’équité en FR, ainsi que pour la quantification de leur incertitude, en se concentrant sur l’analyse de la courbe ROC d’une fonction de similarité. En s’appuyant sur la théorie des U-statistiques, nous obtenons des intervalles de confiance asymptotiquement valides pour ces métriques, et introduisons un score scalaire d’incertitude permettant de comparer la fiabilité statistique de diverses métriques d’équité. Ce cadre permet ainsi de détecter des disparités de performance entre groupes qui sont non seulement importantes mais également statistiquement significatives.

La seconde partie de cette thèse est consacrée à la réduction des biais des modèles de FR par post-traitement. Le cadre est le suivant : on dispose d’un modèle pré-entraîné et figé, et l’objectif est d’agir sur ses sorties afin d’en corriger les biais.

Nous étudions d’abord les biais de genre dans les systèmes de FR et proposons une méthode de post-traitement pour les atténuer. Nous introduisons deux nouvelles métriques d’équité, BFAR et BFRR, à la fois robustes et pertinentes en pratique, qui mesurent les disparités de taux de fausse acceptance et de faux rejet sous des contraintes de sécurité fixées. En exploitant les propriétés géométriques de l’espace latent du modèle FR, nous proposons le Module Éthique, un réseau neuronal peu profond qui transforme les représentations latentes du modèle pré-entraîné à l’aide d’une fonction de perte Fair von Mises-Fisher. Cette perte modélise la variance intra-classe propre à chaque groupe, permettant un contrôle ciblé de l’équité sans nécessiter d’attributs sensibles au moment de l’inférence. La méthode améliore l’équité avec une dégradation minimale des performances et reste peu coûteuse en calcul.

Dans un second temps, nous nous attaquons aux biais ethniques en alignant plus directement l’optimisation de l’équité sur les objectifs classiques d’entraînement en FR. Nous proposons une nouvelle approche de post-traitement qui exploite des pseudo-scores basés sur les centroïdes comme approximations des scores de similarité réels. Cela nous permet de définir la fonction de perte Centroid Fairness, utilisée pour entraîner un Module d’Equité léger, opérant en post-traitement au-dessus d’un modèle FR figé. Nos expériences montrent que ce module permet de réduire efficacement les disparités ethniques tout en préservant la performance globale, dépassant le compromis traditionnel entre équité et performance.