Stage de recherche – Transition d’exigences ingénierie système en exigences intelligence artificielle/machine learning

Sujet du stage : Transition d’exigences ingénierie système en exigences intelligence artificielle/machine learning: vers une démarche de spécification des systèmes intégrant des composants IA​

Au sein de l’Institut de Recherche Technologique SystemX, situé au cœur du campus scientifique d’excellence mondiale de Paris-Saclay, vous prendrez une part active au développement d’un centre de recherche technologique de niveau international dans le domaine de l’ingénierie numérique des systèmes. Adossé aux meilleurs organismes de recherche français du domaine et constitué par des équipes mixtes d’industriels et d’académiques, ce centre a pour mission de générer de nouvelles connaissances et solutions technologiques en s’appuyant sur les percées de l’ingénierie numérique et de diffuser ses compétences dans tous les secteurs économiques.
Vous serez encadré par un ingénieur-chercheur SystemX du domaine ingénierie système. Vous travaillerez au sein du projet Confiance.AI dont les partenaires industriels sont Thales, Naval Group, Airbus, Air Liquide, Groupe Renault, Safran, Valeo et les partenaires académiques IRT SystemX, IRT Saint Exupéry, INRIA, IRIT, ONERA, ENSTA Paris, LNE, CEA, etc.

Contexte du stage

Le projet EC2 du programme de recherche Confiance.AI s’intéresse à l’Ingénierie de Systèmes (IS [1]) fiables contenant un ou plusieurs composant(s) intégrant des briques d’Intelligence Artificielle (IA [2]), et notamment celles de Machine Learning (ML [3]). Ce projet aborde donc la question « comment le cycle de développement classique des systèmes doit-il être modifié/augmenté afin de prendre en compte les spécificités de composants basés IA ? » à la lumière notamment d’un enjeu important : la coopération entre les domaines d’ingénierie différents que sont l’ingénierie systèmes et l’ingénierie IA/ML (ingénierie des algorithmes ML, ingénierie de la donnée).

En effet, dans le cadre de l’ingénierie de systèmes complexes à base d’IA, les activités IS et IA sont fortement interdépendantes, mais réalisées par des équipes différentes, à des moments différents, et utilisent des expertises, des vocabulaires, des concepts différents, ce qui peut conduire à des problèmes de cohérence dans les résultats (i.e. livrer des composants IA qui ne sont pas conformes aux spécifications système). Cela peut multiplier les itérations de développement et en augmenter les coûts associés.

Pour parer à cela, le projet Confiance.ai-EC2 cherche à constituer une méthode de bout en bout pour l’ingénierie de systèmes fiables basés sur l’IA, en partant des retours d’expérience industriel, des standards en cours de constitution comme ISO/IEC 5338 [4], et des travaux spécifiques sur des thématiques centrées IA réalisés par le programme Confiance.ai. Cette méthode aura pour vocation de guider les équipes industrielles dans les modalités d’intégration d’IA dans les systèmes depuis leur spécification jusqu’à leur qualification, leur phase opérationnelle et leur maintenance.

Une étape importante de cette méthode de bout-en-bout est la transition entre le métier Ingénierie Système et le métier Ingénierie IA/ML :

• L’Ingénierie Système spécifie le système, et alloue les exigences (exprimées par le vocabulaire, les concepts, la tournure de pensée, etc., de l’Ingénierie Système) aux différents composants du système, avec l’objectif que l’intégration de composants répondant à ces exigences permette bien de satisfaire les exigences du niveau système. Un ou plusieurs de ces composants sont supposés être des composants basés IA/ML.
• Pour que les exigences allouées à ces composants fassent sens pour l’ingénierie de spécialité « Intelligence Artificielle / Machine Learning », il faut que ces exigences fassent appel aux concepts, aux problématiques, et au vocabulaire de cette ingénierie.
• À la transmission d’exigences par l’Ingénierie Systèmes vers l’Ingénierie IA/ML, une transformation de ces exigences IS en exigences IA/ML est donc nécessaire (un exemple parmi d’autres : « robustesse » au niveau système [5] et « robustesse » au niveau du composant ML [6] n’ont pas la même signification). Cette transformation ne devra pas aboutir à de la perte d’information : il s’agit toujours de garantir que l’intégration des composants IA/ML avec les autres composants permettra de satisfaire les exigences de niveau système.

Objectifs du stage

Pour contribuer à répondre à ce questionnement, l’objectif du stage est d’initier une démarche de correspondance/transformation/raffinement d’exigences Ingénierie Systèmes en exigences Ingénierie IA/ML.

Les entrées de la démarche sont des exigences de niveau Ingénierie Système, spécifiant le niveau d’automatisation d’une fonction système (par exemple, dans le domaine automobile, ce niveau peut se baser sur la nomenclature en cinq niveaux élaborés par le standard SAE) et le niveau d’interaction de cette fonction automatisée avec des parties prenantes humaines (l’automatisation peut être partielle et aboutir à une assistance interactive d’un opérateur humain).

Les sorties de la démarche sont des exigences sur le composant Machine Learning qui sera inclus dans le système, exprimées dans le langage de l’ingénierie des algorithmes ML (par exemple exigences sur l’algorithme, sur l’architecture du modèle ML) et de l’ingénierie des données (par exemple exigences sur les propriétés du dataset…).

La démarche prendra en compte les objets d’ingénierie dus à la présence de composant ML dans le système, tels que le modèle ML, les datasets d’entraînement et de validation, la description de l’ODD (Operational Design Domain), etc. Une riche matière offerte par le programme Confiance.Ai sera exploitable par le stagiaire. Ce sujet étant très vaste, le périmètre du type d’exigences à considérer par la démarche sera réduit à des thématiques prépondérantes dans le programme Confiance.ai à savoir la robustesse et l’explicabilité.

Le stagiaire pourra éventuellement appuyer sa réflexion sur les cas d’étude présents dans Confiance.ai, notamment le cas d’étude Renault sur la vérification de soudures.

En résumé, les missions sont :

• Recenser et consulter les ressources bibliographiques abordant le sujet (certaines sont déjà capitalisées dans le projet) ; sélectionner celles qui sont les plus pertinentes ;
• Faire une synthèse de ces travaux ;
• Élaborer un premier jeu de recommandations pour le raffinement d’exigences du domaine IS vers le domaine IA/ML, dans le cadre de l’ingénierie des systèmes critiques à base d’IA, en lien avec les thématiques de la robustesse et de l’explicabilité.
• Construction d’un questionnaire permettant d’interroger les experts IS et IA pour recueillir leur avis sur la démarche proposée et l’amender en conséquence.

Références bibliographiques

[1] Systems Engineering Handbook, v3.1, INCOSE, 2007

[2] De Ganay, C., & Gillot, D. (2017). Pour une intelligence artificielle maîtrisée, utile et démystifiée. Report, Office parlementaire d’évaluation des choix scientifiques et technologiques

[3] Alpaydin, E. (2021). Machine learning. MIT Press

[4] https://www.iso.org/fr/standard/81118.html

[5] Roux, J. (2022). Evaluation de la sûreté des systèmes aéronautiques grâce aux plateformes virtuelles (Doctoral dissertation, Université Grenoble Alpes [2020-….]).

[6] Schain, M., & Schain, M. (2015). Machine Learning Algorithms and Robustness. Universitat Tel-Aviv.

PROFIL ET COMPETENCES

De formation : Master 2 ou école d’ingénieur, dans le domaine de l’ingénierie des systèmes intelligents.

Compétences :

• En Ingénierie système, entre autres sur la thématique modélisation et méta-modélisation
• Connaissances en Intelligence artificielle, plus particulièrement apprentissage automatique (Machine Learning)

Aptitudes personnelles :

• Bon relationnel,
• Curiosité, esprit d’initiative, capacité d’analyse et rigueur,
• Autonomie, travail collaboratif,
• Intérêt pour la recherche appliquée,
• Ouverture d’esprit, motivation

Merci d’indiquer la référence du stage dans l’objet de votre mail de candidature, d’y joindre CV, lettre de motivation et relevé de notes