CDD Post-Doc sur l’autopsie de l’IA F/H

Etat de l’art – Plateforme d’autopsie de l’IA

Face aux différents incidents techniques et sociaux posés par l’IA, ces dernières années ont connu la naissance d’un certain nombre de communautés académiques en IA pour traiter le problème de l’interprétabilité [1] (XAI) ou de l’équité [2] (FairML) des algorithmes.

Cependant les méthodes issues de ces communautés rencontrent aujourd’hui des limites. Bien qu’il existe aujourd’hui des méthodes pour interpréter le Machine Learning tabulaire et catégoriel (Lime [3], Shap [4], etc), il n’existe aujourd’hui aucune méthode générique pour produire des explications stables et contextuelles du Deep learning [5]. De même, concernant l’équité et les biais des algorithmes, bien qu’il existe des métriques pour mesurer et corriger les biais du ML (disparate impact, equal opportunity), il est difficile d’appliquer ces méthodes sur du Deep learning sans variables catégorielles stables (sensitive variable). Aujourd’hui la littérature académique s’accorde à dire que la production d’explication du Machine Learning est contextuelle, c’est à dire qu’elle dépend des raisons de l’explication, de la personne destinataire de l’explication, de la situation de l’explication, du type d’incident qui rend nécessaire l’explication, etc [6]. Il est alors crucial en XAI de ne pas proposer des outils d’explications top-down indépendants du contexte mais, au contraire, des méthodes d’investigation bottom-up qui partent d’un cas contextuel en situation pour le mettre en récit.

Or aujourd’hui, les incidents générés par l’IA sont largement diffusés dans la presse ou la littérature scientifique et il existe des bases de données recensant les incidents posés par l’IA [7]. Ces incidents offrent des situations idéales, non pas pour tester des méthodes d’explications préexistantes, mais pour co-construire des méthodes d’investigation contextuelle et bottom-up. Pour ce projet nous nous intéressons à des incidents précis : les incidents d’ordre éthique et social de l’IA. Beaucoup de ces incidents ont la particularité d’être générés par des IA semi-ouvertes, c’est à dire qui mobilisent en partie des bases d’apprentissages publiques, utilisent des méthodes d’apprentissage faisant objet de papier de recherche en accès libre, utilisent des réseaux pré-entrainés en accès libre, etc. Cette relative ouverture de l’IA offre la possibilité de rétro-engineering certains algorithmes afin de simuler les incidents éthiques et les mettre en récit.

Il s’agit donc dans ce projet pluridisciplinaire de créer un environnement de mise en récit d’incidents éthiques liés au Deep Learning non catégoriel (image, texte) par la simulation d’incidents. Dit autrement, nous cherchons à développer les outils et méthode d’investigation pour un laboratoire public d’autopsie des algorithmes. La conception de ce laboratoire sera également un dispositif qui vise à explorer la compréhension et l’explicabilité des algorithmes par le (grand) public par la mise à disposition d’outils accessibles de diagnostic d’un incident d’IA. Pour cela, nous proposons la méthode suivante :

1. Identifier un incident de l’IA ayant fait controverse

2. Pour cet incident, identifier dans des répertoires publics (Github ou paper with code) les bases de données d’apprentissage, les réseaux pré-entraînés utilisés, etc.

3. Reproduire le classifieur de Deep Learning lié à l’incident

4. Simuler l’incident éthique

5. Développer des outils d’autopsie pour permettre l’investigation et la production d’explication. Ex : Méthode de visualisation des réseaux de neurone par simulation d’images [8], utilisation de classifieurs annexes pour simuler des transformations d’images

6. Scénariser l’investigation, proposer des mises en récit de l’incident

7. Organiser des ateliers de confrontation avec les utilisateurs

8. Répertorier l’investigation dans une plateforme d’autopsie de l’IA

Proposer des méthodes et outils de radiographie de l’IA permettra de générer une base de connaissance très utile dans les phases de tests avant la mise en production de l’IA. Les méthodes d’investigation proposés dans ce projet peuvent en effet être utilisées pour simuler des scénarios de tests avant la mise en production, diagnostiquer les incidents et générer des explications robustes pendant la phase de production. Il s’agit à la fois de proposer une méthode d’investigation mais aussi des outils accessibles pour réaliser une enquête face à un incident de l’IA.

Nous pensons en effet qu’une IA de confiance suppose d’élargir le champ de l’explication des experts vers le grand public par la création d’outils de visualisation d’incidents accessibles tout en prenant en compte la complexité du problème. Un tel laboratoire d’autopsie des algorithmes est aujourd’hui un dispositif manquant dans l’écosystème IA. Pourtant, un organe de contrôle ex-post, transparent, accessible et disposant de moyens techniques précis, est fondamental pour assurer une confiance durable dans l’IA.

[1] Carvalho, Diogo V., Eduardo M. Pereira, and Jaime S. Cardoso. « Machine learning interpretability: A survey on methods and metrics. » Electronics 8.8 (2019): 832.

[2] Mehrabi, Ninareh, et al. « A survey on bias and fairness in machine learning. » arXiv preprint arXiv:1908.09635 (2019).

[3] Ribeiro, Marco Tulio, Sameer Singh, and Carlos Guestrin. « Model-agnostic interpretability of machine learning. » arXiv preprint arXiv:1606.05386 (2016).

[4] Sundararajan, Mukund, and Amir Najmi. « The many Shapley values for model explanation. » International Conference on Machine Learning. PMLR, 2020.

[5] Sundararajan, Mukund, and Amir Najmi. « The many Shapley values for model explanation. » International Conference on Machine Learning. PMLR, 2020.

[6] Miller, Tim, Piers Howe, and Liz Sonenberg. « Explainable AI: Beware of inmates running the asylum or: How I learnt to stop worrying and love the social and behavioural sciences. » arXiv preprint arXiv:1712.00547 (2017).

[7] https://incidentdatabase.ai/discover/index.html

[8] https://distill.pub/2017/feature-visualization/