Postdoc (F/H) : « Évaluation de la collaboration Humain-IA dans le cadre d’un Assistant Virtuel Bidirectionnel »

Rejoignez l’IRT SystemX afin d’imaginer et concevoir un monde numérique plus sûr, plus performant et plus durable. Aux côtés de nos partenaires industriels et académiques, nous adressons de nouveaux usages qui répondent aux grands enjeux de notre temps, sociétaux et technologiques. Ensemble, nous accélérons la transformation numérique des industries, des services et des territoires.

Vous désirez rejoindre un institut enthousiaste à l’expertise reconnue ? Avec nos 140 collaborateurs et collaboratrices, prenez une part active au développement d’un institut de recherche technologique (IRT) de niveau international, dans le domaine de l’ingénierie numérique des systèmes. Vous découvrirez l’intérêt stimulant de nos projets collaboratifs au sein d’un campus scientifique d’excellence mondiale : le cluster Paris-Saclay.

Vous renforcerez l’équipe de recherche « Interaction, Usage et Connaissance ». Ce post-doc sera réalisé dans le projet CAB (Cockpit Assistant Bidirectionnel) de l’IRT SystemX constitué de partenaires industriels et académiques. CAB est un projet de recherche partenariale du programme IA2 (Intelligence Artificielle et Ingénierie Augmentée). Il a été lancé en octobre 2020 pour une durée de quatre ans avec ses partenaires SNCF, RTE, Orange, Flying Whales, Dassault Aviation et l’IRT System X. Le projet CAB a pour objectif de développer un démonstrateur de Cockpit Assistant Bidirectionnel.

Poste en CDD 1 an.

Poste

Intégré au projet CAB du programme IA2, composés d’ingénieurs-chercheurs, de chercheurs industriels et académiques, de post-doctorants et de doctorants, vous reportez hiérarchiquement au Responsable d’équipe et opérationnellement au Chef de projet.

Vos missions principales consistent à :

• Participer à l’élaboration des propositions méthodologiques de l’équipe projet en cohérence avec les propositions du partenaire académique;

• Analyser les cas d’usages des partenaires industriels et mener les travaux de recherche nécessaires pour lever les verrous scientifiques, produire les livrables correspondants ;
• Réaliser, configurer et mettre en place les preuves de concept et les démonstrateurs conformément au contexte opérationnel et aux attentes industrielles;
• Contribuer à la dissémination sous forme de publications et communications de vos travaux, et au renforcement de la roadmap scientifique et technologique de votre domaine.

Le pilotage de systèmes critiques (avion, voiture, train, etc.) ou de réseaux sensibles (transport, électricité, télécoms etc.) implique pour l’opérateur de gérer une masse importante de données en provenance du système à piloter liées à son environnement et à la complexité de la situation dans laquelle il se trouve. Cela conduit à une augmentation significative de la charge cognitive de l’opérateur ; Il convient donc de lui doter d’outils permettant une interaction optimisée avec son environnement opérationnel et une aide à la décision. L’aide à la décision par la mise à disposition d’assistants virtuels en vue de son automatisation est un moyen couramment utilisé dans ces situations où la décision finale est réservée à l’humain. La qualité de la coopération et la complémentarité de l’apprentissage et de l’interaction entre l’humain et son assistant virtuel sont essentielles.

L’objectif du projet CAB est le développement et le prototypage d’un cockpit de tests générique – ouvert en termes d’applications industrielles -, dans lequel il sera possible d’évaluer les formes d’échanges entre l’opérateur et son environnement à travers une IA qui apprend en continu, à la fois à partir des flux d’informations de l’environnement opérationnel, mais aussi des décisions prises par l’humain. L’aspect explicatif des décisions recommandées par l’IA est central dans ce projet pour donner de la valeur ajoutée à l’opérateur dans sa prise de décision.

L’assistant virtuel saura adapter les flux d’informations remontés vers l’opérateur en vue de gérer dans les meilleures conditions une situation complexe et/ou atypique, en se basant, entre autres, sur le profil de l’opérateur, et son niveau de charge cognitive.

Ce projet s’articule alors entre les thématiques des systèmes d’aide à la décision, des assistants virtuels et de la collaboration humain-IA. L’objectif principal de ce post-doc est donc d’étudier les méthodes et les métriques permettant d’évaluer ce type de systèmes.

Les principales pistes de recherche consistent à :

• Qualifier/Quantifier l’efficacité des interactions homme-machine pendant la collaboration,
• Evaluer la qualité d’aide à la décision basée sur l’IA,
• Justifier l’apport de l’humain dans le processus Humain-IA,
• Chercher particulièrement à identifier l’apport de l’humain dans le processus d’apprentissage machine (IA). Il s’agit dans ce cas d’évaluer la performance de cette collaboration.

Pour l’évaluation de ce type de systèmes, la prise en compte de l’humain est essentielle. En revanche l’évaluation de sujets humains dans ce type de systèmes n’est pas une tâche facile. Une expérience humaine doit être bien conçue pour minimiser les facteurs de confusion, le temps consommé et les autres ressources. Alors un recours aux protocoles de test en ergonomie est essentiel, mais une adaptation est nécessaire.

Nous pouvons noter que les protocoles d’ergonomie classiques d’évaluation ne conviennent plus aux systèmes à base d’IA vu leurs évolutions en continu, même en phase de tests. L’humain, par son imprévisibilité, contribue aussi à cette évolution dans le temps des IAs.  Si nous considérons l’interaction par exemple, nous constatons que les interfaces des systèmes sans IA ont tendance à être figées dans l’ordre dans lequel elles acceptent les instructions et le niveau de détail qu’elles exigent. En revanche, les technologies basées IA, peuvent permettre aux systèmes d’accepter un éventail plus large d’interaction avec l’humain par le biais de la multimodalité.

Plusieurs travaux d’évaluation, en lien avec l’interaction humain-machine existent en ergonomie [Scapain, 1995]. Récemment des travaux d’évaluation de la collaboration humain-IA, en proposant des métriques associées, ont émergé [Dellermann 2019, Damacharla 2018] ainsi que la collaboration/ interaction humain-robot [Mayima, 2021, Leblanc 2020].

La première question de recherche est liée à la pertinence des méthodes existantes notamment dans le domaine de l’ergonomie.  La deuxième question est la définition des métriques et les thématiques à prendre en compte pour cette évaluation Humain-IA. La troisième question est comment adapter les méthodes, protocoles existants afin de pouvoir évaluer une telle collaboration.

Le candidat sera amené à :

Réaliser un état de l’art sur la thématique d’évaluation des systèmes d’interaction humain-IA (crtières d’évaluation, métriques,…)

• Définir une méthodologie d’évaluation adaptée à la problématique de l’assistant bidirectionnel CAB
• Définir des fonctions de recueil de données permettant le calcul des métriques d’évaluation
• Mettre en application de cette méthodologie par la définition des protocoles de tests, scénarios de tests et des métriques nécessaires
• Diffuser les résultats de recherche sous forme de revues et de conférences internationales spécialisées

Références :

[Bansal, 2019] Bansal, G., Nushi, B., Kamar, E., Lasecki, W. S., Weld, D. S., Horvitz, E. (2019). Beyond accuracy: The role of mental models in human-AI team performance. In Proceedings of the AAAI Conference on Human Computation and Crowdsourcing (Vol. 7, No. 1, pp. 2–11).

[Damacharla, 2018] Damacharla, P., Javaid, A. Y., Gallimore, J. J., & Devabhaktuni, V. K. (2018). Common metrics to benchmark human-machine teams (HMT): A review. IEEE Access, 6, 38637-38655.

[Dellermann, 2019] Dellermann, D., Calma, A., Lipusch, N., Weber, T., Weigel, S., & Ebel, P. (2021). The future of human-AI collaboration: a taxonomy of design knowledge for hybrid intelligence systems. arXiv preprint arXiv:2105.03354.

[Herrmann, 2020] Herrmann, C., & Huang, L. (2020). Human-Machine Teaming in AI-Driven Supply Chains. Unpublished thesis/capstone, MIT, available at https://ctl. mit.edu/pub/thesis/human-machine-teaming-ai-drivensupply-chains (accessed 26th January, 2021).

[Mayima, 2022] Mayima, A., Clodic, A., & Alami, R. (2022). Towards Robots able to Measure in Real-time the Quality of Interaction in HRI Contexts. International Journal of Social Robotics, 14(3), 713-731.

Profil

Titulaire d’une thèse de doctorat en informatique, sciences cognitives, ou équivalent, avec des connaissances en interaction homme machine (ingénierie cognitive, facteurs humains) et Intelligence Artificielle.

Qualités professionnelles et relationnelles :

• Curiosité, esprit d’initiative, capacité d’analyse et rigueur
• Adaptabilité et autonomie
• Capacité à travailler en mode projet : suivi et avancement des travaux, valorisation et communication des résultats
• Aisance relationnelle, capacité à travailler en équipe, très bonne communication orale et écrite (en français et anglais)

L’IRT SystemX est engagé en faveur de l’égalité des chances. A ce titre, tous nos postes sont ouverts aux candidats en situation de handicap.

Pour ce poste basé au sein du cluster Paris-Saclay (91), des déplacements occasionnels sont à prévoir en région parisienne. Vous travaillerez sur des projets attractifs et vous bénéficierez d’avantages tels que le télétravail pour 10 jours par mois, une subvention de l’employeur pour la restauration et des titres restaurant, 3 semaines de congés en plus du légal, des congés supplémentaires en fonction de l’ancienneté, une mutuelle performante, le 1% logement, un comité économique et social, un partenariat avec Science Accueil permettant aux collaborateurs étrangers d’obtenir un accompagnement dans les démarches administratives.

Au cours de notre processus de recrutement, vous rencontrerez le responsable d’axe scientifique, le chef de projet et une collaboratrice du service RH puis éventuellement le Directeur Scientifique de notre institut.

Pour en savoir davantage sur l’IRT SystemX 

Pour découvrir les témoignages de nos collaborateurs