Stage – Estimation temps réel de l’état cognitif et physique des opérateurs de SOC par des approches multimodales

Contexte du stage

Au sein de l’Institut de Recherche Technologique SystemX, situé au cœur du campus scientifique d’excellence mondiale de Paris-Saclay, vous prendrez une part active au développement d’un centre de recherche technologique de niveau international dans le domaine de l’ingénierie numérique des systèmes. Adossé aux meilleurs organismes de recherche français du domaine et constitué par des équipes mixtes d’industriels et d’académiques, ce centre a pour mission de générer de nouvelles connaissances et solutions technologiques en s’appuyant sur les percées de l’ingénierie numérique et de diffuser ses compétences dans tous les secteurs économiques. Vous serez encadré par un ingénieur-chercheur SystemX du domaine Interaction usage et connaissances et vous aurez également des échanges avec l’équipe Sécurité numérique et réseaux. Vous travaillerez au sein du projet SystemX  Cybelia (https://www.irt-systemx.fr/programmes-de-recherche/cybelia/) dont les partenaires industriels sont Airbus Protect et RTE. Vous serez encadré par un ingénieur-chercheur SystemX du domaine Interaction usage et connaissances et vous aurez également des échanges avec l’équipe Sécurité numérique et réseaux. Vous travaillerez au sein du projet SystemX  Cybelia (https://www.irt-systemx.fr/programmes-de-recherche/cybelia/) dont les partenaires industriels sont Airbus Protect et RTE

Présentation du sujet

Objectifs du stage

L’intégration de systèmes à base d’intelligence artificielle (IA) dans les environnements critiques a profondément transformé l’interaction entre opérateur humain et machine, notamment dans le domaine de la cybersécurité. Les systèmes actuels sont souvent statiques, appliquant un niveau d’assistance uniforme indépendamment de l’état cognitif et émotionnel de l’utilisateur, ce qui peut engendrer une surcharge cognitive, la perte de vigilance ou la sous-stimulation (Parasuraman,1996). Pour pallier ces limites, l’adaptive automation et les approches en ergonomie cognitive promeuvent des systèmes capables d’ajuster dynamiquement le niveau d’assistance en fonction de l’état de l’opérateur (Byrne, 1996 ; Parasuraman, 2007). L’augmented cognition (Schmorrow, 2002) vise à étendre et soutenir les capacités cognitives humaines en mesurant en temps réel des indicateurs physiologiques et comportementaux et en adaptant dynamiquement le système pour détecter la charge cognitive, la vigilance ou le stress et maintenir ou restaurer la conscience situationnelle (perception, compréhension, projection) (Endsley, 1995 ;). Par ailleurs les progrès technologiques ont conduit à utiliser de plus en plus les mesures physiologiques pour calculer et prédire l’état des opérateurs (Charles, 2019 ; Afzal, 2022). L’objectif de ce stage est d’évaluer, avec l’humain dans la boucle, l’état d’un opérateur dans un centre opérationnel de sécurité (SOC). L’objectif est aussi de calibrer les solutions open source capables d’estimer cet état de l’opérateur. Les états ciblés sont d’ordre cognitif (vigilance, charge cognitive, conscience de la situation, stress, disponibilité à détecter et traiter une alerte) ou physique (posture de travail, engagement visuel sur les écrans, signes de fatigue). Le processus de calibration doit garantir que les capteurs et algorithmes associés produisent des mesures fiables, valides et interprétables, afin de permettre la mise en œuvre ultérieurement des interactions adaptatives qui soutiennent la performance et la réactivité de l’opérateur face à des menaces en évolution rapide. Les solutions open source retenues seront intégrées et testées dans une salle SOC réaliste mise à disposition par l’IRT SystemX.

Missions

• Etat de l’art technologique sur les solutions OpenSource pour l’estimation de l’état cognitif
• Etat de l’art scientifique sur l’évaluation avec l’humain dans la boucle de ce type de solutions
• Choix de solutions à intégrer
• Rédaction d’un protocole d’évaluation
• Intégration et évaluation de certaines de ces solutions dans le contexte de l’activité d’un opérateur SOC
• Rédaction du rapport de stage et éventuelle participation à la rédaction d’article de conférence.

Références bibliographiques

• Afzal, U., Prouzeau, A., Lawrence, L., Dwyer, T., Bichinepally, S., Liebman, A., & Goodwin, S. (2022). Investigating cognitive load in energy network control rooms: Recommendations for future designs. Frontiers in psychology, 13, 812677.
• Byrne, E. A., & Parasuraman, R. (1996). Psychophysiology and adaptive automation. Biological Psychology, 42(3).
• Charles, R. L., & Nixon, J. (2019). Measuring mental workload using physiological measures: A systematic review. Applied ergonomics, 74, 221-232
• Endsley, M. R. (1995). Measurement of situation awareness in dynamic systems. Human factors, 37(1), 65-84.
• Foltyn, A., Deuschel, J., Lang-Richter, N. R., Holzer, N., & Oppelt, M. P. (2024). Evaluating the robustness of multimodal task load estimation models. Frontiers in Computer Science, 6, 1371181.
• Hostettler, R., et al. (2024). Physiologically adaptive industrial robots.
• Majumder, A. Behera, L. and Subramanian,V.K. (2018). Automatic facial expression recognition system using deep network-based data fusion. IEEE Trans. Cybern., vol. 48, no. 1, pp. 103–114, Jan.
• Parasuraman, R., Sheridan, T. B., & Wickens, C. D. (1996). A model for types and levels of human interaction with automation. IEEE Transactions on Systems, Man, and Cybernetics.
• Parasuraman, A., & Colby, C. L. (2007). Techno-ready marketing: How and why your customers adopt technology. The Free Press.
• Petousakis, L., et al. (2021). Mixed-initiative control in human-autonomy teaming.
• Rauffet, P. (2022). Human–autonomy cooperation: challenges for adaptive systems.
• Stewart Sr, T. E. (2022). Strategies Cybersecurity Operators Need to Improve Situation Awareness During Continuous Monitoring Performance (Doctoral dissertation, Colorado Technical University).
• Schmorrow, D. D., & Kruse, A. A. (2002). Augmented cognition. Foundations of augmented cognition.

Profil et compétences

Formation : BAC +5 / école d’ingénieur ou Master, dans les domaines de l’ingénierie, de l’informatique, de la cognitique ou des sciences cognitives

Compétences souhaitées 

• Interaction Homme-Machine : Analyse des besoins utilisateurs, maquettage, évaluation
• Intégration Homme/Système : Conception et usage des technologies, facteurs humains
• Connaissance en développement est recommandé
• Un intérêt pour l’intelligence Artificielle serait appréciable
• Des connaissances en systèmes collaboratifs Humains-Autonomie (HAT) seraient un plus

Aptitudes personnelles 

• Curiosité intellectuelle
• Autonomie
• Capacité d’analyse et de synthèse, de rédaction
• Travail en équipe
• Intérêt pour la recherche
• Bon niveau de communication écrite en anglais souhaité

Merci de joindre CV, lettre de motivation, relevé de notes et autres documents utiles comme une lettre de recommandations.