Environnement et contexte de la thèse

Il est indéniable que l’intelligence artificielle est aujourd’hui critique pour la compétitivité de l’industrie française en participant à une croissance basée sur l’innovation. Dans ce contexte, l’intégration et/ou l’utilisation sûre des technologies à base d’intelligence artificielle est essentielle à la fois pour soutenir l’ingénierie, la production industrielle et le développement de produits et services innovants. « L’industrialisation de l’intelligence artificielle pour les systèmes critiques » est un des objectifs majeurs du Grand Défi IA de confiance de l’état. Cet impératif d’industrialisation nécessite d’apporter un environnement en support à la conception, à la validation et au test. Il s’attachera à renforcer la confiance, l’explicabilité, voire de permettre la certification de l’intelligence artificielle. Un collectif d’industriels majeurs dans les domaines de la Défense, des Transports, et de l’Energie, s’est constitué pour présenter la feuille de route de ce Grand Défi / confiance.ai, avec le soutien de partenaires académiques de premier plan. L’Institut de Recherche Technologique SystemX coordonne ce programme.

L’IRT SystemX est situé au cœur du campus scientifique d’excellence mondiale de Paris-Saclay, et porte les ambitions d’un centre de recherche technologique de niveau international dans le domaine de l’ingénierie numérique des systèmes. Il a pour mission de générer de nouvelles connaissances et solutions technologiques en s’appuyant sur les percées de l’ingénierie numérique et de diffuser ses compétences dans tous les secteurs économiques.

Le sujet de thèse a été défini par le consortium réuni dans le cadre du programme confiance.ai et plus précisément dans le projet EC4. La direction de la thèse sera assurée par Stéphane HERBIN du laboratoire DTIS/IVA (Département Traitement de l’Information et Système de l’ONERA) et la thèse sera inscrite à l’école doctorale STIC de l’Université Paris-Saclay.

Le laboratoire d’accueil sera l’équipe Image Vision Apprentissage dont les activités portent principalement sur l’analyse et l’interprétation d’images et l’intelligence artificielle (https://iva-dtis.github.io/).

De plus le doctorant ou la doctorante bénéficiera d’un encadrement scientifique dans le programme confiance.ai réalisé par Milad LEYLI-ABADI, encadrant référent de l’IRT SystemX au sein du projet Ec4 et par Adrien CHAN-HON-TONG au sein de l’ONERA. Au sein de l’IRT SystemX, le doctorant ou la doctorante sera rattaché hiérarchiquement à l’axe scientifique « Science des données, IA, Interaction » dont le responsable est Georges HEBRAIL.

Le poste est basé à Palaiseau. Le doctorant ou la doctorante pourra être amené à se déplacer au laboratoire.

Sujet de thèse

Les réseaux de neurones profonds offrent aujourd’hui des performances inégalées notamment pour les fonctions de vision par ordinateur : classification d’image, détection d’objet, ou segmentation sémantique. Ces objets formels sont complexes et sujets à des instabilités. Sans précaution particulière sur l’apprentissage du réseau, il est très facile de perturber les données d’entrée pour faire en sorte que les prédictions du réseau soient erronées. On parle alors d’attaque adversaire au sens où les exemples perturbés sont optimisés pour gêner le réseau (ou la famille de réseau) cible.

Les attaques adversaires les plus spectaculaires sont des données modifiées de manière visuellement imperceptible par un humain, typiquement un motif de faible amplitude ajouté sur les images.

Bien que d’intérêt théorique, l’existence d’attaques adversaires visuellement imperceptibles est d’impact pratique limité. Des approches spécifiques semblent aujourd’hui capables de supprimer la sensibilité à de telles attaques comme le « randomized smoothing » [1] ou les « max-margin networks » [2]. Les conditions à réunir pour créer efficacement de telles perturbations dans le monde physique sont par ailleurs exigeantes et souvent peu réalistes (même si cela reste possible [7]).

Une autre gamme d‘attaque est plus problématique et cherche à mettre en défaut des fonctions de vision plus complexes comme la segmentation sémantique ou la détection d’objet : elle est réalisée en ajoutant un patch – une région texturée – dans l’image. La modification est donc fortement visible et localisée mais facile à implémenter physiquement dans la mesure où il suffit d’introduire un objet spécifique dans une scène pour générer ce type d’image. Or l’effet de telle attaque peut être important même dans des zones distantes de la localisation du patch [3,6]. De tels comportements des algorithmes de vision sont extrêmement problématiques pour la confiance que l’on pourra accorder aux systèmes utilisant de l’intelligence artificielle.

L’une des causes de l’existence de tels phénomènes est l’exploitation de l’information contenue dans le contexte des objets pour construire la prédiction : toutes les composantes de l’image sont en effet exploitées globalement dans les algorithmes contemporains de détection ou de segmentation sémantique qui utilisent des réseaux de neurones profonds. C’est à la fois une force, car de nombreux indices présents dans la scène sont susceptibles de fournir des indications faibles sur la nature et la localisation des objets, qui seront ensuite combinées dans l’architecture des réseaux pour produire la prédiction globale. Mais c’est aussi une faiblesse qui peut être exploitée par les attaques adversaires.

L’objectif de la thèse est d’étudier ces phénomènes et de construire des stratégies de défense. Une première piste pourra être de découpler deux modalités de défense pour accroître la robustesse sans dégrader la performance : l’adversarial retraining [4] et la maîtrise de l’utilisation du contexte par les algorithmes de vision par ordinateur.

Le cadre applicatif portera soit sur des données utilisées pour la conception de la voiture autonome (dataset CityScape) soit sur des données de télédétection (dataset Xview).

Références bibilographiques :

  • https://arxiv.org/abs/1902.02918 Certified Adversarial Robustness via Randomized Smoothing, Jeremy M Cohen, Elan Rosenfeld, J. Zico Kolter

  •  http://proceedings.mlr.press/v80/wong18a/wong18a.pdf Provable Defenses against Adversarial Examplesvia the Convex Outer Adversarial Polytope, E. Wong, J. Zico Kolter

  • https://arxiv.org/pdf/1906.11897.pdf On Physical Adversarial Patches for Object Detection, M. Lee, J. Zico Kolter

  • https://openreview.net/forum?id=SJxSDxrKDr Adversarial Training and Provable Defenses: Bridging the Gap, Mislav Balunovic, Martin Vechev

  •  https://arxiv.org/abs/1612.01105 Pyramid Scene Parsing Network, Hengshuang Zhao, Jianping Shi, Xiaojuan Qi, Xiaogang Wang, Jiaya Jia

  • https://arxiv.org/abs/1904.08653 Fooling automated surveillance cameras: adversarial patches to attack person detection,  Simen Thys, Wiebe Van Ranst, Toon Goedemé

  • https://arxiv.org/abs/1607.02533 Adversarial examples in the physical world, Alexey Kurakin, Ian Goodfellow, Samy Bengio

Profil recherché

Étudiant BAC +5 (Ingénieur et/ou Master Recherche) dans les domaines Mathématiques appliquées / Informatique / Apprentissage statistique.

Connaissances et savoir-faire essentiels :

  • Maîtrise des concepts, méthodes et algorithmes de Machine Learning, Vision par ordinateur, Intelligence Artificielle
  • Maîtrise des environnements logiciels de Deep Learning, bonne maîtrise de Python – la connaissance d’une librairie d’apprentissage profond sera un plus certain.
  • Le goût pour la programmation, les expérimentations numériques, et l’analyse détaillée et en profondeur des résultats de ses expériences est essentiel.

Qualités professionnelles :

  • Goût pour la formalisation et la modélisation
  • Capacités d’analyse, forte autonomie et esprit d’équipe, organisé et rigoureux
  • Aptitude à communiquer aussi bien à l’oral qu’à l’écrit en français et en anglais

REF : DIT -06-2021

Informations clés

Type de contrat : Thèse
Localisation du poste : Cluster Paris Saclay (91)
Durée de la thèse : 3 ans 

Pour postuler, merci de mentionner le numéro de référence de l’offre : DIT-06-2021


Postuler à cette offre d’emploi


Mots-clés :


Partager cette offre d’emploi :

Inscrivez-vous à la newsletter de l'IRT SystemX

et recevez chaque mois les dernières actualités de l'institut :