Félicitations à l’équipe CIAR de l’IRT Saint Exupéry pour deux premières spatiales :
– La mise à jour à distance, depuis une station sol, d’un réseau de neurones artificiel embarqué sur un satellite.
– L’utilisation d’un FPGA (« Field-Programmable Gate Array ») pour déployer et utiliser ce réseau de neurones en orbite.
Le projet « Chaîne Image Autonome et Réactive » (CIAR) étudie les technologies permettant de déployer de l’Intelligence Artificielle (IA) pour le traitement de l’image sur des systèmes embarqués (satellites, drones de livraison…). Pour cela, trois défis interdépendants sont relevés :
- La définition du cas d’utilisation et la constitution de bases de données image.
- La conception d’IA performantes et adaptées aux contraintes des systèmes embarqués.
- L’optimisation et l’implémentation matérielle des algorithmes sélectionnés.
Depuis plusieurs années, l’équipe CIAR collabore avec l’Agence Spatiale Européenne (ESA) sur la mission OPS-SAT. Le 22 mars 2021, elle réussit à télécharger un réseau de neurones sur le FPGA embarqué dans ce satellite. L’IRT Saint Exupéry illustre ainsi sa capacité à traiter l’ensemble de ces défis techniques.
Défi n°1 : La définition du cas d’utilisation
OPS-SAT est un nano-satellite 3U (30x10x10 cm) lancé le 18 décembre 2019. Ce démonstrateur technologique de l’ESA a pour objectif de valider de nouveaux systèmes de contrôle en orbite. OPS-SAT embarque un calculateur Intel Cyclone-V (un « System On Chip » ou SoC), ainsi qu’une petite caméra au pas d’échantillonnage de 50 mètres.
Tous les cas d’utilisation de l’IA ne sont pas envisageables à cette résolution, mais un service possible et utile identifié par l’équipe CIAR est la détection de nuages dans les images. En effet, les pixels recouverts par des nuages sont des pixels inexploitables pour, par exemple, dresser des cartes ou suivre l’évolution du terrain. En identifiant les pixels nuageux avec un bon niveau de confiance, on peut décider de les supprimer à la source afin de préserver la mémoire et la bande passante du satellite.
D’un point de vue pratique, un autre avantage de la détection de nuages est qu’il existe des bases de données publiques pouvant servir à l’entrainement des algorithmes d’IA pour ce cas d’utilisation. Une fois le satellite en vol, le projet CIAR a pu étudier comment des réseaux de neurones entrainés sur des données de référence se comportaient sur les vraies images OPS-SAT.
Les entrainements ont été affinés avec des images opérationnelles afin d’améliorer et de mettre jour les algorithmes à distance depuis le sol.
Défi n°2 : La conception d’IA performantes
Pour obtenir les meilleurs temps d’exécutions possibles, le projet a fait le choix d’utiliser comme ressource principale de calcul la partie logique programmable du Cyclone-V (c’est-à-dire le FPGA).
L’équipe CIAR a dû concevoir des solutions algorithmiques à la fois précises et compatibles du nombre d’éléments logiques disponibles sur ce tout petit satellite (110 kLE). Plusieurs types d’architectures ont été développées :
- Des réseaux de neurones classiques (CNN) dérivés de Lenet-5 [3].
- Des réseaux de neurones « fully-convolutionnels » (FCN) [1, 3].
- Des réseaux de neurones à impulsions (SNN, pour « Spiking Neural Network » en anglais) [4].
- Des réseaux de neurones hybrides (partiellement formels, partiellement à impulsions) [2, 3].
- Des algorithmes génétiques (ZGP, pour « Zoetrope Genetic Programming ») [5].
Les performances de ces différentes architectures ont été optimisées, validées et comparées avant leur déploiement sur cible matérielle.
Défi n°3 : L’optimisation et l’implémentation matérielle
Si des librairies existent pour optimiser et exécuter des réseaux de neurones sur CPU ou sur GPU (« Central / Graphics Processing Unit »), le portage de ces algorithmes sur cible FPGA est plus compliqué.
La structure du réseau doit être convertie en code RTL et intégrée dans un environnement personnalisé. Le projet CIAR a adopté une approche « pipelinée et parallélisée » afin de minimiser le temps d’exécution. Les paramètres (poids/biais) ont également été quantifiés de 32 bits flottants à une arithmétique fixe compatible de la cible d’exécution.
En définitive, l’optimisation matérielle menée par le projet CIAR sur le satellite OPS-SAT permet le traitement en orbite de 25 million de pixels par secondes (temps d’inférence sur le FPGA) avec une consommation inférieure à 2 watts.
architectures neuronales (extrait de [3]).
Les défis à venir
Par ces premières en orbite, l’IRT Saint Exupéry démontre la possibilité d’exploiter les capacités de reprogrammation des FPGA pour améliorer l’Intelligence Artificielle à distance et faire évoluer la mission des satellites après leur lancement. L’utilisation d’un FPGA permet également d’allier précision de l’algorithme, rapidité d’exécution et faible consommation.
Le traitement des images pour extraire de l’information utile en temps réel va permettre des fonctions d’optimisation, d’alerte et de reconfiguration automatique depuis l’espace. Tant qu’OPS-SAT restera fonctionnel, l’équipe CIAR prévoit de développer d’autres algorithmes d’IA et de comparer leurs performances en orbite. De nouvelles publications scientifiques sont prévues.
Le projet s’intéresse également à d’autres cas d’applications de l’IA au traitement d’image, comme l’amélioration de la détection et du pistage des piétons évoluant autour de drones de livraison autonomes.
Nos partenaires
L’IRT Saint Exupéry tient à remercier ses partenaires académiques et industriels du projet CIAR qui ont rendu ces réussites possibles :
Activeon est une société de logiciels offrant des solutions innovantes pour l’ordonnancement des tâches, l’automatisation de la charge de travail, l’évolutivité et l’opérationnalisation de l’apprentissage automatique. Pour ce projet CIAR, Activeeon a fourni son expertise et son produit sur étagère « Machine Learning Open Studio (MLOS) » pour aider à l’optimisation des architectures neuronales.
AViSTO est une société d’ingénierie logicielle. Elle est spécialisée dans les projets complexes utilisant les technologies orientées objet, les technologies Web et mobiles. À ce noyau de compétences, AViSTO a progressivement ajouté des métiers périphériques au développement logiciel, notamment DevOps, l’assurance qualité, la science des données et la cybersécurité.
ELSYS Design est une société d’ingénierie spécialisée dans la conception de systèmes embarqués. Elle accompagne des projets innovants à forte valeur ajoutée technique dans les domaines du logiciel embarqué, de la microélectronique, des cartes électroniques et des systèmes embarqués. Les secteurs couverts sont le spatial, l’aéronautique et la défense.
Geo4i est une société française spécialisée dans la gestion des données géospatiales, la valorisation de l’information géospatiale et l’analyse de l’imagerie dans les domaines de la défense, de la sécurité et de l’intelligence économique. L’expertise de Geo4i couvre différents domaines tels que l’intelligence de l’imagerie, l’intelligence géospatiale, la gestion des données géospatiales, le data mining et l’open data.
Inria est un établissement public à caractère scientifique et technologique. Il a pour mission le développement de la recherche et de la valorisation en sciences et techniques de l’information et de la communication, au niveau national comme au plan international. L’institut pilote également la stratégie nationale française en termes de recherche en intelligence artificielle.
Le Laboratoire d’Electronique, Antennes et Télécommunications est une unité mixte Université Nice Sophia Antipolis/CNRS. Le LEAT développe ses recherches autour de trois thématiques : Modélisation et Conception Système d’Objets Communicants ; Conception et Modélisation d’Antennes ; Imagerie microonde et Systèmes d’Antennes.
MyDataModels a développé la plateforme TADA, fonctionnant à l’aide d’algorithmes évolutionnaires. L’entreprise s’intéresse au Small Data, et permet aux professionnels d’obtenir des modèles prédictifs performants à partir de faibles quantités de données. MyDataModels souhaite aider les professionnels dans leurs prises de décision et, ainsi doper leurs performances.
Combinant 40 ans d’expérience et une diversité unique d’expertises, de talents et de cultures, les architectes de Thales Alenia Space conçoivent et fournissent des solutions de haute technologie pour les télécommunications, la navigation, l’observation de la Terre, la gestion de l’environnement, l’exploration, la science et les infrastructures orbitales. Thales Alenia Space est une joint-venture entre Thales (67%) et Leonardo (33%).
TwinswHeel conçoit et fabrique des droïdes autonomes de livraison. Les droïdes proposés par la société apportent des solutions concrètes aux problèmes logistiques existant sur des grands sites industriels. TwinswHeel étudie également une solution basée sur un véhicule autonome capable de livrer des marchandises en milieu urbain tout au long de l’année.
Références
[1] “Low-power neural networks for semantic segmentation of satellite images”, IEEE International Conference on Computer Vision (ICCV 2019). Gaetan Bahl, Lionel Daniel, Matthieu Moretti, et Florent Lafarge.
[2] “An FPGA-based Hybrid Neural Network accelerator for embedded satellite image classification”, IEEE International Symposium on Circuit and Systems (ISCAS 2020). Edgar Lemaire, Matthieu Moretti, Lionel Daniel, Benoit Miramond, Philippe Millet, Frederic Feresin, et Sébastien Bilavarn.
[3] “Onboard Image Processing using AI to reduce data transmission: example of OPS-SAT satellite”, 7th International Workshop on On-Board Payload Data Compression (OBPDC 2020 – Best Paper). Frédéric Férésin, Michael Benguigui, Yves Bobichon, Edgar Lemaire, Matthieu Moretti, et Gaétan Bahl.
[4] “Hardware design of spiking neural networks for energy efficient brain-inspired computing”, Phd thesis (Université Côte d’Azur 2020). Nassim Abderrahmane.
[5] “ZGP : une alternative aux réseaux de neurones pour la segmentation sémantique de nuages dans les images satellites multi-spectrales”, Conférence Nationale sur les Applications Pratiques de l’Intelligence Artificielle (APIA 2021). Ingrid Grenet, Yves Bobichon, Adrien Girard, Frédéric Férésin.