L'explicabilité

Rapport sur les problématiques d’explicabilité et de responsabilité des algorithmes

 

 

 

 

Tout le monde souhaiterait que les algorithmes soient explicables, surtout dans les domaines les plus critiques comme la santé ou le transport aérien. Il y a un vrai consensus dans ce domaine.
Winston Maxwell, directeur d'études, doit et numérique à Télécom Paris


Ce diagramme présente un cadre permettant de définir le « bon » niveau d’explicabilité en fonction de considérations techniques, juridiques et économiques.

 

 

L’approche comprend trois étapes logiques :

– Définir les principaux facteurs contextuels, tels que le destinataire de l’explication, le contexte opérationnel, le niveau de préjudice que le système pourrait causer, et le cadre juridique/réglementaire. Cette étape permettra de caractériser les besoins opérationnels et juridiques de l’explication, ainsi que les avantages sociaux correspondants.

– Examiner les outils techniques disponibles, y compris les approches post-hoc (perturbation des entrées, cartes des points saillants…) et les approches hybrides d’IA.

– En fonction des deux premières étapes, choisir les bons niveaux de production d’explications globales et locales, en tenant compte des coûts impliqués.


Il y a des raisons opérationnelles à l’explicabilité, notamment la nécessité de rendre les algorithmes plus robustes.

Il y a également des raisons éthiques et juridiques à l’explicabilité, notamment la protection des droits individuels.

Il est important de garder séparées ces deux séries de raisons.

 


L’explicabilité prend des informations brutes et les rend compréhensibles pour l’homme.

L’explicabilité est une composante à valeur ajoutée de la transparence.

L’explicabilité et la transparence permettent toutes deux d’autres fonctions importantes, telles que la traçabilité, l’auditabilité et la responsabilité.

 


Les explications globales donnent un aperçu de l’ensemble de l’algorithme.


Les explications locales fournissent des informations précises sur une décision algorithmique donnée.


Des explications peuvent être nécessaires concernant l’algorithme d’apprentissage, y compris des informations sur les données de formation utilisées.

Les explications relatives à l’algorithme d’apprentissage porteront généralement sur une décision algorithmique particulière (explications locales).


Les approches post-hoc tentent d’imiter le fonctionnement du modèle de la boîte noire.

Les approches hybrides tentent de placer l’explicabilité dans le modèle lui-même.


Une approche hybride peut apprendre à l’algorithme à regarder la bonne zone de l’image, en se basant sur l’expertise du domaine, en l’occurrence la radiologie.


Les approches hybrides de l’IA peuvent se concentrer sur les entrées, sur le réseau lui-même ou sur les sorties.


Pour trouver le bon niveau d’explicabilité, il faut prendre en considération les avantages et les coûts associés à une explication dans une situation donnée. Pour qu’une explication soit socialement utile, le total des bénéfices doit dépasser les coûts.

 

Autres publications

  • Valérie Beaudouin, Isabelle Bloch, David Bounie, Stéphan Clémençon, Florence d’Alché-Buc, et al.. Identifying the « Right » Level of Explanation in a Given Situation. 2020. ⟨hal-02507316⟩
  • Valérie Beaudouin, Isabelle Bloch, David Bounie, Stéphan Clémençon, Florence d’Alché-Buc, et al.. Flexible and Context-Specific AI Explainability: A Multidisciplinary Approach. 2020. ⟨hal-02506409⟩