Environnement et contexte de la thèse

Il est indéniable que l’intelligence artificielle est aujourd’hui critique pour la compétitivité de l’industrie française en participant à une croissance basée sur l’innovation. Dans ce contexte, l’intégration et/ou l’utilisation sûre des technologies à base d’intelligence artificielle est essentielle à la fois pour soutenir l’ingénierie, la production industrielle et le développement de produits et services innovants. « L’industrialisation de l’intelligence artificielle pour les systèmes critiques » est un des objectifs majeurs du Grand Défi IA de confiance de l’état. Cet impératif d’industrialisation nécessite d’apporter un environnement en support à la conception, à la validation et au test. Il s’attachera à renforcer la confiance, l’explicabilité, voire de permettre la certification de l’intelligence artificielle. Un collectif d’industriels majeurs dans les domaines de la Défense, des Transports, et de l’Energie, s’est constitué pour présenter la feuille de route de ce Grand Défi / confiance.ai, avec le soutien de partenaires académiques de premier plan. L’Institut de Recherche Technologique SystemX coordonne ce programme.

L’IRT SystemX est situé au cœur du campus scientifique d’excellence mondiale de Paris-Saclay, et porte les ambitions d’un centre de recherche technologique de niveau international dans le domaine de l’ingénierie numérique des systèmes. Il a pour mission de générer de nouvelles connaissances et solutions technologiques en s’appuyant sur les percées de l’ingénierie numérique et de diffuser ses compétences dans tous les secteurs économiques.

Le sujet de thèse a été défini par le consortium réuni dans le cadre du programme confiance.ai et plus précisément dans le projet EC5 (« Ingénierie de la connaissance et des données pour l’IA de confiance »). La direction de la thèse sera assurée par Stéphane HERBIN du Département Traitement de l’Information et Système (DTIS) de l’ONERA et la thèse sera inscrite dans l’école doctorale STIC de l’Université Paris-Saclay.

Les laboratoires d’accueil seront l’IRT SystemX et l’équipe Image Vision Apprentissage (IVA) de l’ONERA dont les activités portent principalement sur l’analyse et l’interprétation d’images et l’intelligence artificielle (https://iva-dtis.github.io/ ).

De plus le doctorant ou la doctorante bénéficiera d’un encadrement scientifique dans le programme confiance.ai réalisé par Sarah LANNES, encadrante référente de l’IRT SystemX au sein du projet EC5. Au sein de l’IRT SystemX, le doctorant ou la doctorante sera rattaché hiérarchiquement à l’axe scientifique « Sciences des données & Interaction » dont le responsable est Georges HEBRAIL.

Le poste est basé à Palaiseau. Le doctorant ou la doctorante pourra être amené à se déplacer au laboratoire.

 

Sujet de thèse

Contexte et problématique 

L’approche contemporaine de conception des fonctionnalités de vision par ordinateur est l’exploitation de techniques d’apprentissage automatique (« Machine Learning »), principalement d’apprentissage profond (« Deep Learning »). Leur utilisation a révolutionné les algorithmes effectivement utilisés et a grandement amélioré les performances des fonctions d’interprétation des données telles que la classification d’images, la détection d’objets ou la segmentation sémantique.

La contrepartie de cette évolution est la dépendance à une base de données d’apprentissage, souvent volumineuse, et l’opacité du processus de prédiction : le comportement de l’algorithme est parfois difficile à anticiper, surtout lorsqu’il traite des données à grande dimension comme les images ou les vidéos.

Dans le cadre des problématiques abordées par le programme Confiance.AI, une question clé est la détermination claire du domaine opérationnel d’un algorithme, c’est-à-dire des conditions pour lesquelles ses sorties peuvent être considérées fiables.

Le travail envisagé dans cette thèse est de concevoir des moyens de définir un tel domaine par un ensemble de cas extrêmes (« corner cases »), c’est-à-dire de données critiques qui balisent les limites de bon comportement dans l’espace d’entrée. Une stratégie possible pour le construire est d’utiliser un modèle génératif de données paramétré par un espace latent de caractéristiques explicites : les bornes du domaine, les « corner cases », peuvent alors être identifiées dans cet espace.

La définition formelle de cas extrêmes capables de délimiter un domaine de bon fonctionnement n’est cependant pas immédiate. Des questions fondamentales sont à approfondir :

  • Comment exprimer un domaine ? Existe-t-il des frontières – et en quel sens – sachant que l’espace des données d’entrée est de grande dimension ?
  • Quels sont de bons exemples pour décrire ces limites? Peuvent-ils être identifiés à partir d’un ensemble de données de référence ou générés artificiellement? Peut-on les décrire par des caractéristiques ou des attributs interprétables ?
  • Peut-on caractériser les corner cases en fonction de leur contribution aux différentes causes d’erreur d’apprentissage ? (Estimation, approximation, optimisation, dilemme biais/variance)

La définition d’un domaine d’exploitation à l’aide de cas extrêmes peut être exploitée de différentes manières et permettre d’évaluer sa pertinence :

  • en tant qu’indicateur de performance d’un algorithme donné en fournissant des informations plus détaillées que les métriques globales classiques (taux d’erreur moyen, précision/rappel) en fournissant des informations complémentaires sur le comportement local des algorithmes,
  • comme outil d’explicabilité pour analyser de manière plus intuitive le comportement global de l’algorithme,
  • comme outil de développement pour contrôler l’apprentissage et les compromis extension du domaine/performance,
  • comme moyen de spécification des données à collecter.

Le travail attendu dans la thèse est de dimension plutôt théorique, mais avec l’objectif pratique de rendre plus fiables les algorithmes conçus par apprentissage automatique.

Le domaine applicatif ciblé est principalement la vision par ordinateur appliquée à l’interprétation visuelle de scènes (capteurs embarqués sur véhicules ou satellites, diagnostic visuel dans un contexte industriel).

Etat de l’art

Plusieurs champs de recherche sont d’intérêt pour les travaux envisagés dans la thèse.

« Corner case », attaques adverses et « hazards »

La notion de « corner case » est couramment utilisée dans le monde de l’ingénierie en tant que cas pathologique. Elle doit être retravaillée dans le contexte du Machine Learning pour son utilisation comme moyen de description d’un domaine. Quelques travaux récents ont proposé des approches pour l’identification et la définition de « corner cases » [15] principalement pour les applications de véhicule autonome [6] [7] [22] [11] . Une autre manière de construire des cas pathologiques est d’exploiter des phénomènes d’instabilité locale lorsque les algorithmes utilisés s’appuient sur des réseaux de neurones profonds : ce sont les attaques adverses [3] [23] [18] . Ces techniques ont été utilisées pour développer des moyens automatisés de test des systèmes [16] [20] . Enfin, une autre démarche est d’utiliser des connaissances ou une démarche experte pour l’identification et la description explicite de « Hazard », par exemple pour des fonctions de classification [12] ou d’estimation de profondeur par stéréo [23] .

Contre-exemples pour l’explicabilité et la constitution de bases de données

L’identification de cas problématiques a également été exploitée, non pour mettre en défaut la fonction de prédiction, mais pour fournir des éléments de compréhension de son fonctionnement : une explication. Le principe est alors de justifier le bon comportement en fournissant un ou des exemples parmi lesquels le prédicteur aurait eu à choisir de manière virtuelle pour rendre sa décision : des contre-exemples [8] ou exemples contradictoires (« counterfactual ») [1]  [8] [10] [13] [14] [19] [21] .

Génération conditionnelle de données


La description d’un domaine d’utilisation peut s’appuyer sur des capacités de génération pour combler certains manques des bases de données disponibles pour l’estimer ou l’évaluer [25]. La génération de données peut être conditionnée par une description de son contenu (nature des objets, de leur disposition, du fond de scène…) ou de sa qualité (contraste, bruit, éclairage…). Les formalismes de réseaux profonds permettent maintenant de construire des modèles génératifs capables de produire des données d’apparence très réalistes, et conditionnées à des représentations complexes [9] [17] [2] .

 

Références bibliographiques 

  • [1] Abbasnejad, E., Teney, D., Parvaneh, A., Shi, J., & Hengel, A. V. D. (2020). Counterfactual vision and language learning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 10044-10054).
  • [2] Agnese, J., Herrera, J., Tao, H., & Zhu, X. (2020). A survey and taxonomy of adversarial neural networks for text‐to‐image synthesis. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 10(4), e1345.
  • [3] Akhtar, N., & Mian, A. (2018). Threat of adversarial attacks on deep learning in computer vision: A survey. Ieee Access, 6, 14410-14430.
  • [4] Bansal, M., Krizhevsky, A., & Ogale, A. (2018). Chauffeurnet: Learning to drive by imitating the best and synthesizing the worst. arXiv preprint arXiv:1812.03079.
  • [5] Barredo-Arrieta, A., & Del Ser, J. (2020). Plausible Counterfactuals: Auditing Deep Learning Classifiers with Realistic Adversarial Examples. arXiv preprint arXiv:2003.11323
  • [6] Bolte, J. A., Bar, A., Lipinski, D., & Fingscheidt, T. (2019, June). Towards corner case detection for autonomous driving. In 2019 IEEE Intelligent Vehicles Symposium (IV) (pp. 438-445).
  • [7] Breitenstein, J., Termöhlen, J. A., Lipinski, D., & Fingscheidt, T. Systematization of Corner Cases for Visual Perception in Automated Driving. In 2020 IEEE Intelligent Vehicles Symposium (IV) (pp. 1257-1264). IEEE.
  • [8] Dreossi, T., Ghosh, S., Yue, X., Keutzer, K., Sangiovanni-Vincentelli, A., & Seshia, S. A. (2018, July). Counterexample-guided data augmentation. In Proceedings of the 27th International Joint Conference on Artificial Intelligence (pp. 2071-2078).
  • [9] Frolov, S., Hinz, T., Raue, F., Hees, J., & Dengel, A. (2021). Adversarial Text-to-Image Synthesis: A Review. arXiv preprint arXiv:2101.09983.
  • [10] Goyal, Y., Wu, Z., Ernst, J., Batra, D., Parikh, D., & Lee, S. (2019). Counterfactual Visual Explanations. In International Conference on Machine Learning (pp. 2376-2384).
  • [11] Heidecker, F., Breitenstein, J., Rösch, K., Löhdefink, J., Bieshaar, M., Stiller, C., … & Sick, B. (2021). An Application-Driven Conceptualization of Corner Cases for Perception in Highly Automated Driving. arXiv preprint arXiv:2103.03678.
  • [12] Hendrycks, D., & Dietterich, T. (2018). Benchmarking Neural Network Robustness to Common Corruptions and Perturbations. In International Conference on Learning Representations.
  • [13] Kim, B., Wattenberg, M., Gilmer, J., Cai, C., Wexler, J., & Viegas, F. (2018). Interpretability beyond feature attribution: Quantitative testing with concept activation vectors (tcav). In International conference on machine learning (pp. 2668-2677).
  • [14] Liu, S., Kailkhura, B., Loveland, D., & Han, Y. (2019). Generative counterfactual introspection for explainable deep learning. arXiv preprint arXiv:1907.03077.
  • [15] Ouyang, T., Marco, V. S., Isobe, Y., Asoh, H., Oiwa, Y., & Seo, Y. (2021). Corner case data description and detection. arXiv preprint arXiv:2101.02494.
  • [16] Pei, K., Cao, Y., Yang, J., & Jana, S. (2017, October). Deepxplore: Automated whitebox testing of deep learning systems. In proceedings of the 26th Symposium on Operating Systems Principles (pp. 1-18).
  • [17] Reed, S., Akata, Z., Yan, X., Logeswaran, L., Schiele, B., & Lee, H. (2016, June). Generative adversarial text to image synthesis. In International Conference on Machine Learning (pp. 1060-1069). PMLR.
  • [18] Serban, A., Poll, E., & Visser, J. (2020). Adversarial examples on object recognition: A comprehensive survey. ACM Computing Surveys (CSUR), 53(3), 1-38.
  • [19] Sokol, K., & Flach, P. A. (2019, January). Counterfactual explanations of machine learning predictions: opportunities and challenges for AI safety. In SafeAI@ AAAI.
  • [20] Tian, Y., Pei, K., Jana, S., & Ray, B. (2018, May). Deeptest: Automated testing of deep-neural-network-driven autonomous cars. In Proceedings of the 40th international conference on software engineering (pp. 303-314).
  • [21] Wang, P., & Vasconcelos, N. (2020). SCOUT: Self-aware Discriminant Counterfactual Explanations. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 8981-8990).
  • [22] Wu, W., Xu, H., Zhong, S., Lyu, M. R., & King, I. (2019, June). Deep validation: Toward detecting real-world corner cases for deep neural networks. In 2019 49th Annual IEEE/IFIP International Conference on Dependable Systems and Networks (DSN) (pp. 125-137). IEEE.
  • [23] Xu, H., Ma, Y., Liu, H. C., Deb, D., Liu, H., Tang, J. L., & Jain, A. K. (2020). Adversarial attacks and defenses in images, graphs and text: A review. International Journal of Automation and Computing, 17(2), 151-178.
  • [24] Zendel, O., Murschitz, M., Humenberger, M., & Herzner, W. (2017). How good is my test data? Introducing safety analysis for computer vision. International Journal of Computer Vision, 125(1), 95-109.
  • [25] Zhang, M., Zhang, Y., Zhang, L., Liu, C., & Khurshid, S. (2018, September). DeepRoad: GAN-based metamorphic testing and input validation framework for autonomous driving systems. In Proceedings of the 33rd ACM/IEEE International Conference on Automated Software Engineering (pp. 132-142).
  • [26] Zhang, J. M., Harman, M., Ma, L., & Liu, Y. (2020). Machine learning testing: Survey, landscapes and horizons. IEEE Transactions on Software Engineering.

 

Profil recherché

Étudiant BAC +5 (Ingénieur et/ou Master Recherche) dans les domaines Mathématiques appliquées / Informatique / Apprentissage statistique 

Connaissances et savoir-faire essentiels :

  • Maîtrise des concepts, méthodes et algorithmes de Machine Learning, Vision par ordinateur, Intelligence Artificielle
  • Maîtrise des environnements logiciels de Deep Learning, bonne maîtrise de Python – la connaissance d’une librairie d’apprentissage profond sera un plus certain.
  • Le goût pour la programmation, les expérimentations numériques, et l’analyse détaillée et en profondeur des résultats de ses expériences est essentiel.

Qualités professionnelles :

  • Goût pour la formalisation et la modélisation
  • Capacités d’analyse, forte autonomie et esprit d’équipe, organisé et rigoureux
  • Aptitude à communiquer aussi bien à l’oral qu’à l’écrit en français et en anglais

 

REF : DIT-07-2021

Informations clés

Type de contrat : Thèse
Localisation du poste : Cluster Paris Saclay (91)
Durée de la thèse : 3 ans 
Rémunération : 2700 €

Pour postuler, merci de mentionner le numéro de référence : DIT-07-2021


Postuler à cette offre d’emploi


Mots-clés :


Partager cette offre d’emploi :

Inscrivez-vous à la newsletter de l'IRT SystemX

et recevez chaque mois les dernières actualités de l'institut :