Explicabilité et confiance en l’intelligence artificielle ?
Florence d’Alché-Buc, professeure à Télécom Paris, spécialiste de l’intelligence artificielle, oct. 2024
Florence d’Alché nous parle des questions d’explicabilité et de confiance dans l’IA. Ces questions se posent avec acuité depuis l’arrivée des IA génératives, ainsi que dans le cadre des réflexions actuelles sur leur régulation.
S’il s’agit surtout d’en réguler les risques, cela suppose de comprendre en amont comment sont conçus ces grands modèles de langage.
L’IA Act, qui entrera en vigueur en 2025, va d’ailleurs introduire des obligations de transparence et d’explicabilité pour ces modèles.
Propos recueillis par Isabelle Mauriac
Podcast
Retrouvez cette interview en format audio dans le cadre du podcast Le ¼ d’heure du chercheur :
Podcast enregistré le 29 février 2024 par Michel Desnoues, Télécom Paris
La confiance, notion cruciale
Aujourd’hui, les outils de l’IA sont déployés dans tous les secteurs d’activité de la société, les applications grand public comme les applications dans des entreprises.
Et ce sont justement nos usages de l’IA qui révèlent certaines failles.
Par exemple, les modèles de langage peuvent affabuler. Certains modèles de prévision vont manquer de transparence et d’explicabilité. Donc cette question apparaît maintenant de manière aiguë dans à peu près tous les secteurs où l’IA est présente.
Oui, c’est vrai. C’est une question qui s’est posée très tôt dans le développement de l’IA, notamment l’IA « tirée par les données ». L’IA qu’on connaît aujourd’hui a déjà connu plusieurs révolutions. Il y a dix ans, la résurgence des réseaux neurones, en particulier des réseaux neurones très profonds et leurs résultats spectaculaires, notamment en vision, ont renouvelé cette question.
Une deuxième révolution, il y a à peu près trois ans, concerne cette IA générative où on est passé de modèles de reconnaissance qui étaient essentiellement prédictifs, à des modèles génératifs qui sont capables de produire des phrases entières, des images nouvelles, conditionnées souvent par un système de prompt, c’est-à-dire ce qu’on leur demande. Et se posent les questions de confiance de différentes manières au fil de ces développements.
Ces questions de robustesse, d’équité, d’explicabilité, de confiance, de confidentialité, se posent de manière différente dans ces systèmes d’IA génératives, avec, de manière beaucoup plus aiguë, les problèmes de confiance sur des données créées, des données générées…
Les dimensions de l’explicabilité
Commençons par la robustesse. C’est d’abord une robustesse aux bruits, aux contaminations, par exemple des données acquises avec des capteurs. Puis il y a la robustesse aux attaques « adversariales », c’est-à-dire celles d’agents malicieux qui vont essayer de modifier les données perçues et captées. Donc la robustesse va être une capacité extrêmement importante pour les outils d’IA, soit dans la phase d’apprentissage, au moment où le modèle est calibré, soit même à l’étape d’inférence afin que le système de prévision ne s’appuie pas sur une donnée contaminée, fausse. Donc la robustesse est vraiment le socle nécessaire à installer pour un outil d’IA.
La fiabilité est très liée à la robustesse, mais elle fournit une prévision avec un intervalle de confiance, dire à quel point finalement le système propose une prédiction avec un certain niveau d’assurance. Cela peut être extrêmement important, par exemple, si on pense au véhicule autonome, pour redonner la main aux conducteurs, ce qui implique techniquement une capacité à s’abstenir. Donc il faudra dans cet exemple que le système puisse vous dire « dans cette situation-là, je sais bien prédire ou je sais mal prédire ». L’autre versant fondamental, vu notamment par exemple dans les systèmes de reconnaissance faciale ou dans les systèmes de diagnostic, est l’équité, c’est-à-dire à quel point il est sûr qu’un algorithme d’apprentissage permet de définir un système équitable qui traite toute catégorie d’une population, de manière égale pour toute entrée.
Effectivement, dans les bases de données qui servent à l’apprentissage de ces systèmes, si certaines catégories, certaines données ne sont pas présentes, il ne sera pas possible de les exploiter, ainsi un manque de performance sera constaté au moment de la prévision. Ce biais doit donc être corrigé et c’est évidemment un thème de recherche extrêmement important, qui est d’ailleurs traité à Télécom Paris.
Puis il y a bien sûr l’explicabilité qui recouvre finalement beaucoup de choses : j’ai un système, il est prédictif, il prédit une valeur de sortie et j’aimerais savoir quels sont les éléments de la variable d’entrée qui conduisent à cette prévision, c’est-à-dire quels sont les éléments qui peuvent permettre de comprendre pourquoi le système a fourni cette sortie. En regardant les IA génératives, l’explicabilité va être : si le système produit une phrase, il faudrait savoir quels sont les éléments qui conduisent à une réponse du système. Donc l’explicabilité est vraiment un problème clé.
La confidentialité, c’est autre chose. Par exemple dans des problématiques médicales, à l’hôpital, il faudra évidemment être extrêmement attentif à ce que soient préservés l’anonymat et la confidentialité des données pendant l’apprentissage du système.
Oui, c’est vraiment une question intéressante, il est vrai que pendant des années nous nous sommes concentrés sur la performance de l’IA et aujourd’hui nous sommes conscients que, selon les domaines d’application, vont plutôt être privilégiées la propriété de robustesse et celle d’explicabilité, ou bien celles d’équité et de confidentialité par exemple…
Donc oui, tous ces critères-là, assez difficiles à satisfaire en même temps, simultanément, vont pouvoir éventuellement être sollicités dans certaines applications et non d’autres. On imagine que pour certaines applications qui sont, disons, ludiques, avec peut-être moins d’impact que par exemple un diagnostic médical, ou va lâcher prise sur certains de ces critères.
Au-delà de l’explicabilité, la traçabilité, la transparence du processus de conception d’une IA est crucial…
… et la phase d’apprentissage jusqu’à, bien sûr, la phase d’inférence, doivent être reproductibles et les plus transparentes possible pour différentes raisons. Bien entendu, afin de pouvoir partager l’information et vérifier le contenu et le comportement de ces systèmes. Mais effectivement, cela ne porte pas que sur les algorithmes, il est question de traçabilité dès le moment où j’acquiers des données, je les annote… Dans les systèmes d’IA génératives, on parle d’open source, d’open data, d’open weight, c’est-à-dire de paramètres partagés et lisibles. Ensuite il y a le code lui-même. Donc la transparence est à différents niveaux.
Simplification nécessaire ?
Il est vrai que j’aime dire que les dix dernières années ont été les « dix glorieuses » de l’IA, c’est-à-dire qu’effectivement nous avons eu simultanément un accès à des capacités de calcul extrêmement puissantes et à un très grand nombre de données, notamment grâce au web, avec des algorithmes développés dans les laboratoires de recherche. Et finalement c’est « allons-y, développons des modèles très complexes ». Cela a donné effectivement des résultats spectaculaires, mais sans doute, dans cette course à la performance, a été privilégié le fait que nous sommes capables aujourd’hui de construire des modèles qui trouvent les régularités presque parfaitement dans les données et qui peuvent atteindre un niveau de modélisation extrêmement bon.
Oui, il est possible de passer par l’hybridation, en tenant compte par exemple de propriétés mathématiques et, finalement, en diminuant le besoin d’énormes cohortes de données, mais plus généralement on va s’intéresser à la frugalité des modèles aujourd’hui.
Pour des raisons évidentes, liées à la crise énergétique et au changement climatique, un nouveau paramètre, un nouveau critère revient sur le devant de la scène : « comment résoudre les mêmes problèmes avec une efficacité forte et une taille de modèles, un nombre de données moins importants ». Et cela a un rapport avec l’explicabilité puisque on peut effectivement penser que l’explicabilité peut passer par de la frugalité.
Même si cela n’est pas toujours le cas, des méthodes frugales s’appuyant sur des projections dans des sous-espaces aléatoires ou de la compression qui ne vont pas forcément aller vers la transparence et l’explicabilité, parfois les deux se rencontrent.
Explicabilité et frugalité peuvent donc se conjuguer.
Il faut distinguer deux dimensions. D’abord on voit bien que nous avons des problèmes techniques, mais ils sont aussi associés à des problèmes qu’il est possible de traiter avec des spécialistes du droit, des sociologues, des philosophes.
L’IA n’est plus la chasse gardée des mathématiques appliquées et de l’informatique. C’est vraiment important de le dire, et c’est également ainsi que ce thème est abordé à Télécom Paris.
Les usages de l’IA, qui révèlent donc un certain nombres de failles et pointent de nombreux challenges techniques que nous cherchons à relever, sont en lien aussi avec ce que la régulation de l’IA va demander de plus en plus. Quand on regarde par exemple l’industrie du logiciel, les normes et les certifications qui sont imposées pour la sortie d’un certain nombre d’outils sont extrêmement importantes et fournissent une garantie de qualité. Mais en IA, nous sommes encore très loin de ces normes-là et de ces certifications. Et sans doute seront-elles utiles pour un certain nombre de domaines, notamment dans les usages de l’IA critique.