CONTEXTE DU STAGE

Au sein de l’Institut de Recherche Technologique SystemX, situé au cœur du campus scientifique d’excellence mondiale de Paris-Saclay, vous prendrez une part active au développement d’un centre de recherche technologique de niveau international dans le domaine de l’ingénierie numérique des systèmes. Adossé aux meilleurs organismes de recherche français du domaine et constitué par des équipes mixtes d’industriels et d’académiques, ce centre a pour mission de générer de nouvelles connaissances et solutions technologiques en s’appuyant sur les percées de l’ingénierie numérique et de diffuser ses compétences dans tous les secteurs économiques.
Vous serez encadré par un Ingénieur-Chercheur IRT SystemX de l’équipe Science des Données et IA, au sein d’un projet de recherche exploratoire.

PRESENTATION DETAILLEE DU SUJET

Les progrès fulgurants de l’intelligence artificielle, notamment via le développement des réseaux de neurones profonds, ont précipité le besoin de mieux comprendre leur fonctionnement et leur robustesse. Par exemple, la fiabilité du système de lecture des panneaux de signalisation doit pouvoir être démontrée dans le cadre des véhicules autonomes. Une erreur de prédiction, aussi rare soit-elle, peut avoir des conséquences dramatiques.

Dans ce cadre, concevoir des réseaux de neurones robustes avec des garanties sur leurs prédictions attendues est une question fondamentale aussi bien du point de vue académique, qu’industriel. Récemment une nouvelle technique de robustification [2] basée sur les modèles à diffusion [1] a permis d’obtenir pour la première fois des réseaux de neurones avec des pré-diffuseurs capables de limiter l’effet de ces perturbations avant de passer à la tâche de prédiction. Ces travaux ont suscité beaucoup d’intérêt dans la communauté scientifique et industrielle (voir [6]).

L’objectif de ce stage est d’appliquer les méthodes de robustesse via des modèles probabilistes à diffusion sur des réseaux de neurones profonds à des cas d’usage industriels. Le stagiaire sera amené dans un premier temps à prendre en main la technique de purification adversariale dans un cas d’usage industriel. Dans un deuxième temps, il conviendra de démontrer le gain en robustesse de cette méthode par rapport aux méthodes classiques.

Les missions et objectifs du stage sont prévus comme suit :

  • Faire un état de l’art (théorie probabiliste et applications en Machine Learning) des travaux récents (voir des exemples dans les références) sur la robustification via modèles probabilistes à diffusion.
  • Prendre en main les implémentations existantes de cette technique avec différents types de perturbations.
  • Les techniques existantes sur la robustification par diffusion sont génériques mais dépendent fortement du schéma d’intégration numérique utilisé. La première piste de recherche à explorer durant ce stage sera d’étudier l’erreur numérique lié aux schémas exponentiels qui sont l’état de l’art aujourd’hui.
  • Ensuite, il s’agira d’étendre la méthode de back-propagation continue [7], propre aux équations différentielles stochastiques neuronales, aux schémas exponentiels [3] et d’évaluer son efficacité pour l’évaluation de la robustesse adversariale [2].
  • Finalement, il s’agira d’étudier les schémas d’intégration stochastiques dits algébriquement réversibles [5] et leur intérêt selon étude de cas industriel. Cela consistera en une ouverture prometteuse pour le stagiaire combinant recherche académique et industrielle.

REFERENCES BIBLIOGRAPHIQUES

  1. Song et-al, Score-Based Generative Modeling through Stochastic Differential Equations, ICLR 2021.
  2. Nie et-al, Diffusion Models for Adversarial Purification, ICML 2022.
  3. Lu et-al, DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps, NeurIPS 2022.
  4. Özdenizci, Legenstein, Restoring Vision in Adverse Weather Conditions with Patch-Based Denoising Diffusion Models, preprint 2022.
  5. Kidger et-al, Efficient and Accurate Gradients for Neural SDEs, NeurIPS 2021.
  6. Croitoru et-al, Diffusion Models in Vision: A Survey, preprint 2022.
  7. Kidger, On Neural Differential Equations, PhD Thesis 2022.

PROFIL ET COMPETENCES
Formation : BAC +5 école d’ingénieur ou université, dans les domaines de l’IA et/ou mathématiques appliquées.

Compétences souhaitées : 

  • Python (Pytorch/Tensorflow)
  • Machine/Deep Learning (eg. ResNets, ConvNets)
  • Modélisation et Calcul Stochastiques, Analyse Numérique

Aptitudes personnelles :

  • Dynamisme et motivation
  • Esprit d’équipe

Merci d’indiquer la référence du stage dans l’objet de votre mail de candidature, d’y joindre CV, lettre de motivation et relevé de notes.

Informations clés

Durée du stage : 6 mois
Date de démarrage envisagée : à partir de janvier 2023
Localisation du poste : Palaiseau (91) – Site de Nano-Innov
Référence de l’offre à mentionner dans l’objet dans votre e-mail de candidature : DSR-2023-14-Explo


Postuler à cette offre d’emploi


Mots-clés :


Partager cette offre d’emploi :

Inscrivez-vous à la newsletter de l'IRT SystemX

et recevez chaque mois les dernières actualités de l'institut :