Stage de R&D : Modèles de diffusion pour la robustesse en Machine Learning

Contexte du stage

Au sein de l’Institut de Recherche Technologique SystemX, situé au cœur du campus scientifique d’excellence mondiale de Paris-Saclay, vous prendrez une part active au développement d’un centre de recherche technologique de niveau international dans le domaine de l’ingénierie numérique des systèmes. Adossé aux meilleurs organismes de recherche français du domaine et constitué par des équipes mixtes d’industriels et d’académiques, ce centre a pour mission de générer de nouvelles connaissances et solutions technologiques en s’appuyant sur les percées de l’ingénierie numérique et de diffuser ses compétences dans tous les secteurs économiques.

Vous serez encadré par un ingénieur-chercheur SystemX du domaine Science des données et IA.

Vous travaillerez au sein du projet de recherche exploratoire « GenAI pour l’évaluation et l’amélioration de la généralisation Out-Of-Distribution en ML ».

Présentation du sujet

L’essor spectaculaire de l’IA Générative (IAGen, GenAI en anglais) au cours des dernières années a fait émerger, et rendu primordial, le besoin de comprendre leur fonctionnement afin d’assurer leur industrialisation dans des systèmes critiques à base de Machine Learning (ML). En effet, les plus récents composants à base d’IA sont souvent multi-modèles, multitâches, multimodaux et multifonctions, intègrent des modèles de fondation entraînés sur de grandes bases de données, dont ils héritent la problématique de la généralisation Out-of-Distribution (OOD) d’une part, et les difficultés liées à la gestion des données d’adaptation, dont l’hétérogénéité est intrinsèque, d’une autre part. Or, de récentes corrections méthodologiques d’évaluation ont permis de montrer que des modèles de fondation tels que CLIP n’ont en réalité pas d’avantage de propriété de généralisation OOD par rapport à des modèles plus petits [7]. Ainsi, la maîtrise des deux challenges énoncés est un sujet d’actualité pour les industriels souhaitant intégrer de tels composants dans des systèmes critiques pour se conformer aux réglementations en vigueur.

Dans ce contexte, l’IAGen, et en particulier les modèles de diffusion [1, 3] se sont avérés cruciaux pour améliorer la robustesse des modèles ML aux tâches industrielles. Par exemple, une méthode de robustification [2], a permis de développer des réseaux de neurones équipés de méthodes capables d’éliminer les attaques adverses avant l’exécution de la tâche. Depuis, les recherches scientifiques portant sur les applications des modèles de diffusion en lien avec la robustesse dans le Machine Learning suscitent un grand intérêt au sein des communautés académiques et industrielles.

L’objectif du stage est d’appliquer des méthodes de robustesse OOD via des modèles de diffusion sur une sélection des réseaux de neurones profonds de l’état de l’art, et de démontrer par la suite leur efficacité par rapport aux méthodes classiques dans le cadre d’un cas d’usage industriel.

Ainsi, le stagiaire sera amené à :

• Faire un état de l’art autour de la robustesse OOD le long du cycle de vie d’un modèle M
• Prendre en main l’implémentation des méthodes existantes [5] identifiées dans l’état de l’art en vue de l’implémentation d’un démonstrateur les rassemblant ;
• Contribuer au développement de méthodes d’amélioration de la robustesse OOD via des modèles de diffusion [1, 2, 3, 4].

Références bibliographiques :

1. Song et-al, Score-Based Generative Modelling through Stochastic Differential Equations, ICLR 2021.
2. Nie et-al, Diffusion Models for Adversarial Purification, ICML 2022.
3. Esser et-al, Scaling Rectified Flow Transformers for High-Resolution Image Synthesis, ICML 2024 (Best Paper Award).
4. Lynch et-al, Spawrious: A Benchmark for Fine Control of Spurious Correlation Biases, 2023
5. Liu, J., et-al, Geometry-Calibrated DRO: Combating Over-Pessimism with Free Energy Implications, ICML, 2024.
6. Kadkhodaie et-al, Generalization of Diffusion Models Arise from Geometry-Adaptive Harmonic Representations, ICLR 2024 (Outstanding Paper Award).
7. Mayilvahanan et al, In Search of Forgotten Domain Generalization, ICML 2024.

Profil et compétences

De formation : BAC + 5 / école d’ingénieur ou université master, dans le domaine de Machine Learning et/ou Mathématiques Appliquées.

Compétences souhaitées :

• Python, Pytorch ou Tensorflow
• Maîtrise des modèles ML avancés (U-Nets, Transformers)
• Théorie des probabilités, analyse stochastique

Aptitudes personnelles :

• Motivation et dynamisme
• Esprit d’équipe de recherche
• Force de proposition

Merci d’indiquer la référence du stage dans l’objet de votre mail de candidature, d’y joindre CV, lettre de motivation, lettre(s) de recommandation et relevés de notes.