Marc-Antoine Faillon soutiendra sa thèse le 29 octobre 2026

Marc-Antoine FAILLON, doctorant dans le cadre de la Chaire CRITICAL, dont les travaux de recherche ont été financés par le projet PFS (Ports du Futur Sécurisés) et co-encadrés par Polytechnique Montréal, Naval Group et l’IRT SystemX, soutiendra sa thèse le 29 octobre 2026 à 15h00, à Palaiseau, sur le sujet : «Structured Reinforcement Learning for Autonomous Cyber Operations».

Résumé de la thèse

Face à l’évolution constante des cybermenaces et à la complexité croissante des infrastructures numériques et industrielles, les approches traditionnelles de cybersécurité, principalement fondées sur des règles prédéfinies, montrent leurs limites. L’intelligence artificielle, et plus particulièrement l’apprentissage par renforcement (Reinforcement Learning, RL), offre de nouvelles perspectives pour automatiser les opérations de cybersécurité, qu’il s’agisse de tests d’intrusion, de détection d’attaques ou de remédiation. Toutefois, le passage des approches développées en simulation vers des environnements opérationnels réalistes demeure un défi scientifique et technologique majeur.

Cette thèse s’intéresse à la conception d’agents autonomes de cybersécurité capables d’interagir avec des infrastructures complexes, combinant technologies de l’information (IT) et technologies opérationnelles (OT). Elle propose plusieurs contributions visant à améliorer les capacités de généralisation, de prise de décision et de passage à l’échelle des agents fondés sur l’apprentissage par renforcement. Parmi celles-ci figurent une approche d’apprentissage par renforcement hiérarchique (SHiPPO), une extension modulaire permettant la coordination dynamique d’agents spécialisés (MSHiPPO), ainsi qu’un environnement expérimental (CRLF) facilitant l’entraînement et l’évaluation de ces agents sur des infrastructures réalistes, notamment dans les contextes industriels et maritimes. Les travaux explorent également l’automatisation de la cyberdéfense à travers une approche combinant apprentissage par renforcement hiérarchique et réseaux de neurones sur graphes (HEG-PPO). Cette approche permet de représenter les relations entre les différentes entités d’un système informatique et d’améliorer les capacités de décision des agents défensifs en s’appuyant sur des outils opérationnels de cybersécurité. Les expérimentations menées sur plusieurs infrastructures virtuelles, notamment dans des environnements CyberRange, démontrent le potentiel de ces approches en matière de transférabilité et de généralisation. En définitive, cette thèse contribue à lever plusieurs verrous scientifiques liés à l’application de l’apprentissage par renforcement à la cybersécurité et ouvre des perspectives prometteuses pour le développement d’agents cyber autonomes, adaptatifs et capables d’opérer dans des environnements complexes.

Composition du jury

• Tarek OULD-BACHIR – Président du jury
• Nora BOULAHIA-CUPPENS – Membre, directrice de recherche
• Frédéric CUPPENS – Membre, codirecteur de recherche
• Julien FRANCQ – Membre, codirecteur de recherche
• Reda YAICH – Membre, Co-encadrant de thèse
• Omar ABDUL WAHAB – Membre
• Fabiano ARMELLINI – Membre
• Talal HALABI – Membre externe

Informations pratiques

La soutenance aura lieu le jeudi 29 octobre 2026 à 15h00, à Palaiseau, sur le site Nano-INNOV, bâtiment 862, amphithéâtre 33/34.