Sujet du stage : Détection de situations atypiques et sémantique sur les flux vidéo

Au sein de l’Institut de Recherche Technologique SystemX, situé au cœur du campus scientifique Paris-Saclay, vous prendrez une part active dans les travaux de recherche et développements au sein du projet SMD[1] (Sémantiques Métier pour l’exploitation de Données multi-sources) rentrant dans le cadre du programme d’Intelligence Artificielle et Ingénierie Augmentée (IA2). Ce projet vise à hybrider l’IA symbolique et apprentissage automatique pour construire et exploiter des connaissances sur des données hétérogènes multi-sources, afin de favoriser l’aide à la décision en environnement statique ou dynamique.

Le poste est basé à l’IRT SystemX – Gif sur Yvette [site du Moulon] où vous serez encadré par un ingénieur-chercheur SystemX du domaine Science des données et IA. Vous aurez également des interactions régulières avec les partenaires du projet : Airbus D&S, EcoSys, Apsys, EDF et RTE

[1] https://www.irt-systemx.fr/systemx-lance-le-projet-smd-semantiques-metier-pour-lexploitation-de-donnees-multi-sources/

Présentation du sujet du stage

L’identification des évènements atypiques ou des situations anormales sur des vidéos est considérée comme une fonctionnalité indispensable dans le contexte de la vidéo surveillance ainsi que des applications de gestion de crise.

Ce stage vise à développer dans un premier temps des modèles de détection de ce type de situation sur des flux vidéo de surveillance. Les anomalies recherchées peuvent refléter différentes situations (regroupement de foule, violation d’un sens de circulation, accident routier, arrestation, incendie criminel, agression, vandalisme, comportement suspect,  etc.).

Dans un deuxième temps, il cherchera à augmenter sémantiquement ces détections en construisant des graphes de scènes dans le but de rendre plus interprétables le contexte et les situations dans lesquelles surviennent les anomalies remontées. L’utilisation des contextes identifiés en amont pour faciliter les détections pourra également être testée le cas échéant.

Une analyse fine des performances des modèles proposés est attendue et une étude sera menée pour évaluer la généralisation de ces derniers.

Ces modèles seront développés initialement sur la base de jeu de données ouvertes et pourront faire l’objet d’un redéploiement sur des données fournies par les partenaires du projet SMD.

Résumé des missions

  • Etat de l’art scientifique ;
  • Mise en oeuvre de modèles de détection de situations atypiques dans les flux vidéo de surveillance ;
  • Développement d’approches d’interprétabilité et de sémantique liées aux situations remontées sur la base des graphes de scènes ;
  • Test et évaluation des modèles de détection de situations atypiques avec différents sets de données vidéo incluant l’interprétation et la sémantique inférées sur les différentes situations et contextes représentatifs du cas d’usage ciblé ;
  • Analyser les performances et étude de généralisation des modèles développés.

Références

  • Ribeiro, M., Lazzaretti, A. E., & Lopes, H. S. (2018). A study of deep convolutional auto-encoders for anomaly detection in videos. Pattern Recognition Letters105, 13-22.
  • Nawaratne, R., Alahakoon, D., De Silva, D., & Yu, X. (2019). Spatiotemporal anomaly detection using deep learning for real-time video surveillance. IEEE Transactions on Industrial Informatics16(1), 393-402.
  • Nayak, R., Pati, U. C., & Das, S. K. (2020). A comprehensive review on deep learning-based methods for video anomaly detection. Image and Vision Computing, 104078.
  • Buhrmester, V., Münch, D., & Arens, M. (2019). Analysis of explainers of black box deep neural networks for computer vision: A survey. arXiv preprint arXiv:1911.12116.
  • Escalante, H. J., Escalera, S., Guyon, I., Baró, X., Güçlütürk, Y., Güçlü, U., … & van Lier, R. (Eds.). (2018). Explainable and interpretable models in computer vision and machine learning. Cham: Springer International Publishing.
  • Chen, N. F., Du, Z., & Ng, K. H. Scene Graphs for Interpretable Video Anomaly Classification. Visually Grounded Interaction and Language (ViGIL), NeurIPS 2018 Workshop, Montreal, Canada
  • Pourreza, M., Salehi, M., & Sabokrou, M. (2021). Ano-Graph: Learning Normal Scene Contextual Graphs to Detect Video Anomalies. arXiv preprint arXiv:2103.10502.

Profil et compétences

Etudiant BAC+5 en fin de cycle école d’ingénieur ou Master 2, dans le domaine de la science des données, IA, statistiques, mathématiques appliquées ou informatique avec une spécialisation en science des données, machine/deep learning .

Compétences :

  • Bon niveau de maitrise dans le langage de programmation (Python)
  • Deep Learning, statistiques, mathématiques
  • Familier avec l’un des frameworks d’apprentissage profond (Keras ou PyTorch)

Aptitudes personnelles :

  • Esprit d’analyse, autonomie, travail collaboratif
  • Intérêt pour la recherche appliquée
  • Aptitude à communiquer aussi bien à l’oral qu’à l’écrit (en français et anglais)
  • Avoir un bon relationnel

Informations clés

Durée du stage : 6 mois
Date de démarrage envisagée : Mars 2022
Localisation du poste : Cluster Paris Saclay (91)
Référence de l’offre à mentionner dans l’objet de votre e-mail de candidature : DSR-2022-19-SMD


Postuler à cette offre d’emploi

Merci d’indiquer la référence du stage dans l’objet de votre mail de candidature


Mots-clés :


Partager cette offre d’emploi :

Inscrivez-vous à la newsletter de l'IRT SystemX

et recevez chaque mois les dernières actualités de l'institut :