Stage – Mise en place d’un pipeline pour le suivi et l’évaluation continue des modèles de machine learning

Contexte du stage

Au sein de l’Institut de Recherche Technologique SystemX, situé au cœur du campus scientifique d’excellence mondiale de Paris-Saclay, vous prendrez une part active au développement d’un centre de recherche technologique de niveau international dans le domaine de l’ingénierie numérique des systèmes. Adossé aux meilleurs organismes de recherche français du domaine et constitué par des équipes mixtes d’industriels et d’académiques, ce centre a pour mission de générer de nouvelles connaissances et solutions technologiques en s’appuyant sur les percées de l’ingénierie numérique et de diffuser ses compétences dans tous les secteurs économiques.Vous serez encadré par un ingénieur-chercheur SystemX du domaine Science de données et IA, au sein d’un projet exploratoire de SystemX en collaboration avec le GIS UQ (https://uq-at-paris-saclay.github.io/).

Présentation du sujet

Contexte du stage

Les évolutions récentes des modèles d’apprentissage automatique (Machine Learning) nécessitent de plus en plus la mise en place de pipelines et de protocoles d’évaluation automatiques ou semi-automatiques. Ces mécanismes permettent non seulement de comparer les performances des modèles, mais aussi d’en assurer le suivi et la reproductibilité. Pour cela, les communautés scientifiques et industrielles s’appuient habituellement sur des plateformes de benchmarking en ligne telles que Hugging Face ou Kaggle, et participent régulièrement à des compétitions scientifiques qui stimulent l’innovation et favorisent la confrontation des solutions à l’état de l’art.Dans ce cadre, l’IRT SystemX a déjà organisé plusieurs compétitions [1,2] sur des thématiques de recherche variées, allant de l’hybridation simulation numérique/IA à la vision par ordinateur (computer vision). Ces compétitions ont permis de générer des résultats riches et diversifiés, maiselles posent une question centrale : comment pérenniser ces benchmarks et en assurer la continuité au-delà de la compétition ?C’est à cette problématique qu’entend répondre ce stage, en explorant des solutions techniques et méthodologiques pour mettre en place un système d’évaluation continu, automatisé et durable, garantissant la capitalisation et la valorisation des résultats issus des compétitions.

Objectifs du stage

L’objectif principal de ce stage est de proposer et de mettre en œuvre une approche permettant de pérenniser et d’assurer la continuité des benchmarks issus des compétitions scientifiques et industrielles organisées par l’IRT SystemX. Dans un premier temps, le(la) stagiaire devra se familiariser avec les outils et développements internes existants, ainsi qu’avec les données et résultats générés lors de précédentes compétitions. Cette phase exploratoire permettra d’identifier les besoins réels en termes de stockage, de gestion des données et des modèles, et de suivi continu des performances.Une étude approfondie de l’état de l’art des solutions actuelles (plateformes de benchmarking, outils de MLOps, systèmes de gestion de pipelines) sera également menée afin de comparer leurs avantages et limites, et d’orienter les choix de conception. Sur cette base, le(la) stagiaire contribuera à la mise en place d’un pipeline générique et modulable, intégrant :

• des espaces dédiés par domaine scientifique,
• la possibilité d’importer et d’héberger des données et modèles,
• des protocoles d’évaluation automatique,
• et la publication de résultats de manière continue et reproductible.

À terme, ce travail devra aboutir à une solution robuste et durable, facilitant la capitalisation des résultats des compétitions et leur valorisation scientifique et industrielle.

Missions

Dans le cadre de ce stage, le(la) candidat(e) participera activement au développement d’un pipeline d’évaluation de bout-en-bout et pourra être amené(e) à réaliser tout ou partie des missions suivantes :

• Réaliser un état de l’art des plateformes, méthodes et outils existants de benchmarking continu et d’évaluation automatique de modèles.
• Concevoir et développer les briques nécessaires à la mise en place d’un pipeline complet, intégrant le versionnage des données et modèles, ainsi que l’automatisation de l’évaluation en s’appuyant sur des solutions existantes (Hugging Face, MLflow, TFX, etc.).
• Contribuer à la validation expérimentale du pipeline sur des cas d’usage concrets (compétitions et domaines scientifiques traités par l’IRT SystemX).
• Participer aux réunions scientifiques et technologiques de l’institut afin de partager l’avancement et confronter les choix techniques.
• Présenter les résultats obtenus sous forme de démonstrations, de présentations internes, et rédiger un rapport détaillé incluant une synthèse des travaux et des recommandations pour la pérennisation de la solution.

Références bibliographiques :

[1] LEYLI-ABADI, Milad, PICAULT, Jérôme, MAROT, Antoine, et al.Machine Learning for Physical Simulation Challenge Results and Retrospective Analysis: Power Grid Use Case. arXiv preprint arXiv:2505.01156, 2025.

[2] YAGOUBI, Mouadh, DANAN, David, LEYLI-ABADI, Milad, et al.NeurIPS 2024 ML4CFD Competition: Results and Retrospective Analysis. arXiv preprint arXiv:2506.08516, 2025

[3] Casenave, Fabien, et al. « Physics-Learning AI Datamodel (PLAID) datasets: a collection of physics simulations for machine learning. » arXiv preprint arXiv:2505.02974 (2025).

Profil et compétences

De formation : BAC +5 (cycle d’ingénieur ou Master), dans le domaine du développement informatique et de l’IA

Compétences souhaitées :

• Solides compétences en développement Python et bonnes pratiques de programmation
• Connaissance des outils de stockage et de versionnage de données et modèles (Hugging Face, Kaggle, MLflow, Airflow)
• Bonne compréhension des modèles de Machine Learning / IA et de leurs métriques d’évaluation
• Expérience en MLOps (conteneurisation, suivi, automatisation de pipelines)
• Maîtrise d’outils de visualisation et de monitoring (Grafana, TensorBoard, etc.)

Aptitudes personnelles :

• Bon relationnel
• Travail d’équipe
• Communication
• Esprit d’initiative
• Adaptabilité

Merci d’indiquer la référence du stage dans l’objet de votre mail de candidature, d’y joindre CV, lettre de motivation et autres documents pertinents.