Stage – Fiabilité de l’apprentissage multimodal sous modalités manquantes : évaluation d’architectures à mélange d’experts structuré

Durée du stage : 6 mois
Date de démarrage envisagée : Mars 2027
Localisation du poste : Palaiseau (91)
Gratification : 1200€ net mensuel
Référence de l’offre :STAGE-2027-06-Explo

Contexte du stage

Au sein de l’Institut de Recherche Technologique SystemX, situé au cœur du campus scientifique d’excellence mondiale de Paris-Saclay, vous prendrez une part active au développement d’un centre de recherche technologique de niveau international dans le domaine de l’ingénierie numérique des systèmes. Adossé aux meilleurs organismes de recherche français du domaine et constitué par des équipes mixtes d’industriels et d’académiques, ce centre a pour mission de générer de nouvelles connaissances et solutions technologiques en s’appuyant sur les percées de l’ingénierie numérique et de diffuser ses compétences dans tous les secteurs économiques. Vous travaillerez au sein du projet SystemX – Recherche exploratoire 2027 – intitulé « Modèles multimodaux à experts fiables : routage informé et évaluation sous modalités manquantes » dont le partenaire académique est Mimi Zhang, Assistant Professor au Trinity College Dublin. Vous serez encadré par Faïcel Chamroukhi, responsable de l’axe scientifique science des données, IA et Interaction, en collaboration avec Mohamed Ibn Khedher, Ingénieur-Chercheur à SystemX, et Mimi Zhang.

Le poste est basé à l’IRT SystemX – Palaiseau. Des déplacements à Dublin peuvent être organisés dans le cadre du stage.

Présentation du sujet

Les systèmes d’IA opérant sur des flux multimodaux doivent souvent décider à partir d’une information partielle : une modalité est fréquemment indisponible, parce que l’examen n’a pas été réalisé, que le capteur est défaillant ou que la scène est occultée. Les architectures à mélange d’experts adaptent le calcul aux modalités effectivement présentes, mais leur routage traite de la même façon ce qui a été effectivement observé et ce qui a été reconstruit. Cette recherche prolonge la recherche exploratoire 2026, qui a produit MIMOSA, un cadre multimodal combinant la reconstruction des modalités absentes, la factorisation des représentations en une part partagée et une part spécifique, et un routage par mélange d’experts porté sur ces facteurs. Son évaluation a mis en évidence un point précis : selon la tâche, une modalité peut être absente dans 75 à 80 % des cas – ex. la radiologie –, de sorte que la décision porte le plus souvent sur une représentation reconstruite – et une métrique agrégée (par exemple AUROC, F1) ne dit rien de la fiabilité de cette décision. C’est ce verrou que le stage contribue à lever.

La recherche exploratoire accueillant le stage poursuit deux objectifs : (O1) un routage informé par la fiabilité,  et (O2) l’évaluation de la fiabilité sous manquance structurée. Le stage porte sur un lot délimité au sein de ce second objectif : le banc d’évaluation et les scénarios de manquance reproductibles. La conception du mécanisme de routage (O1) est assurée par les permanents du projet.

Objectifs du stage 

Objectif 1 : Banc d’évaluation. Industrialiser la chaîne d’expérimentation MIMIC-IV existante (trois tâches : mortalité hospitalière à 48 h, durée de séjour, phénotypage à 25 classes), y intégrer les méthodes de référence du domaine, et stratifier les résultats selon la configuration de modalités effectivement présentes.

Objectif 2 : Dégradation et scénarios de manquance. Conduire l’étude de dégradation sous manquance structurée (MCAR/ MAR / MNAR) par ablation contrôlée des modalités, et développer un générateur reproductible de scénarios, y compris des régimes absents des données réelles. Une question ouverte sera examinée : sous manquance informative (MNAR), dans quelle mesure un modèle gagne-t-il en performance en exploitant le seul fait qu’une modalité soit absente ?

Objectif 3 : Calibration et prédiction sélective. Mettre en œuvre et comparer des mesures de calibration conditionnées à la configuration de modalités observées, ainsi que la prédiction sélective qui permet au modèle de s’abstenir lorsque l’information disponible est trop dégradée.

Missions 

• Réaliser l’état de l’art sur la quantification d’incertitude et la calibration en apprentissage multimodal robuste aux modalités manquantes.
• Prendre en main le cadre MIMOSA et la chaîne de préparation et d’évaluation développés en 2026.
• Implémenter le banc d’évaluation, le protocole de fiabilité et le générateur de scénarios, en veillant à la reproductibilité des expériences.
• Conduire les expérimentations, analyser les résultats et en discuter l’interprétation.
• Contribuer à la brique logicielle destinée à une diffusion en open source.
• Participer aux échanges avec Mimi Zhang (Trinity College Dublin) et présenter les travaux en séminaires internes.
• Contribuer à la préparation d’une communication scientifique.
• Rédiger le rapport de stage.

Livrables 

• Rapport de stage.
• Codes sources documentés et reproductibles.
• Contribution à une soumission pour une communication internationale, en conférence ou en workshop d’apprentissage automatique et d’IA.

Références bibliographiques

• Brkic, M., Chamroukhi, F., Ibn Khedher, M. (2026). MIMOSA: Multimodal learning with mIssing MOdalities via Structured MoE Architectures. ECML PKDD 2026, Workshop REHMED.
• Guo, C., Pleiss, G., Sun, Y., Weinberger, K. Q. (2017). On Calibration of Modern Neural Networks.
• Geifman, Y., El-Yaniv, R. (2017). Selective Classification for Deep Neural Networks.
• Wu, R., Wang, H., Chen, H.-T., Carneiro, G. (2026). Deep Multimodal Learning with Missing Modality: A Survey. TMLR.

Profil et compétences

De formation : BAC+5 en fin de cycle école d’ingénieur ou Master 2.

Compétences souhaitées

• Être actuellement inscrit en Master 2 ou en troisième année de cycle ingénieur, en Informatique ou en Mathématiques Appliquées/Statistique avec un intérêt avéré pour la recherche exploratoire ;
• Très bonnes connaissances théoriques en Machine Learning, en Statistiques, et en Optimisation ;
• Une première expérience en modèles génératifs ou probabilistes serait un plus ;
• Très bonnes compétences en programmation Python.

Aptitudes personnelles

• Rigueur et autonomie dans la conduite des expériences.
• Esprit critique sur les résultats obtenus.
• Capacité à documenter clairement son travail.
• Aisance à communiquer à l’écrit et à l’oral en français et en anglais.
• Goût du travail en équipe, dans un contexte international.

Le recrutement de candidats s’effectue en priorité auprès des établissements de formation français.

Pour postuler, merci d’envoyer en un seul fichier .pdf les documents suivants :CV; lettre de motivation; relevés de notes des deux dernières années d’étude de Master ou de cycle ingénieur; au moins une lettre de recommandation