Le 2 juin 2022, Gaétan Bahl a soutenu sa thèse à l’Inria de Sophia Antipolis, où celle-ci a été préparée sous la supervision de Florent Lafarge, au sein de l’Université Côte d’Azur et de l’École doctorale STIC (Sciences & Technologies de l’Information & la Communication).

---

A PROPOS DE SA THESE

« Architectures Deep Learning pour l’analyse d’images satellite embarquée »

Abstract

Les progrès des satellites d’observation de la Terre à haute résolution et la réduction des temps de revisite introduite par la création de constellations de satellites ont conduit à la création quotidienne de grandes quantités d’images (des centaines de Teraoctets par jour). Simultanément, la popularisation des techniques de Deep Learning a permis le développement d’architectures capables d’extraire le contenu sémantique des images. Bien que ces algorithmes nécessitent généralement l’utilisation de matériel puissant, des accélérateurs d’inférence IA de faible puissance ont récemment été développés et ont le potentiel d’être utilisés dans les prochaines générations de satellites, ouvrant ainsi la possibilité d’une analyse embarquée des images satellite.

En extrayant les informations intéressantes des images satellite directement à bord, il est possible de réduire considérablement l’utilisation de la bande passante, du stockage et de la mémoire. Les applications actuelles et futures, telles que la réponse aux catastrophes, l’agriculture de précision et la surveillance du climat, bénéficieraient d’une latence de traitement plus faible, voire d’alertes en temps réel.

Dans cette thèse, notre objectif est double : d’une part, nous concevons des architectures de Deep Learning efficaces, capables de fonctionner sur des périphériques de faible puissance, tels que des satellites ou des drones, tout en conservant une précision suffisante. D’autre part, nous concevons nos algorithmes en gardant à l’esprit l’importance d’avoir une sortie compacte qui peut être efficacement calculée, stockée, transmise au sol ou à d’autres satellites dans une constellation.

Tout d’abord, en utilisant des convolutions séparables en profondeur et des réseaux neuronaux récurrents convolutionnels, nous concevons des réseaux neuronaux de segmentation sémantique efficaces avec un faible nombre de paramètres et une faible utilisation de la mémoire. Nous appliquons ces architectures à la segmentation des nuages et des forêts dans les images satellites. Nous concevons également une architecture spécifique pour la segmentation des nuages sur le FPGA (Field-Programmable Gate Array) d’OPS-SAT, un satellite lancé par l’ESA (European Space Agency) en 2019, et réalisons des expériences à bord à distance.

Deuxièmement, nous développons une architecture de segmentation d’instance pour la régression de contours lisses basée sur une représentation à coefficients de Fourier, qui permet de stocker et de transmettre efficacement les formes des objets détectés. Nous évaluons la performance de notre méthode sur une variété de dispositifs informatiques à faible puissance.

Enfin, nous proposons une architecture d’extraction de graphes routiers basée sur une combinaison de Fully Convolutional Networks et de Graph Neural Networks. Nous montrons que notre méthode est nettement plus rapide que les méthodes concurrentes, tout en conservant une bonne précision.

Publications scientifiques

• Low-power Neural Networks for Semantic Segmentation of Satellite Images. Gaétan Bahl, Lionel Daniel, Matthieu Moretti, Florent Lafarge. ICCV Workshop on Low Power Computer Vision, 2019.
• In space image processing using AI embedded on system on module: example of OPS-SAT cloud segmentation. Frédéric Férésin, Erwann Kervennic, Yves Bobichon, Edgar Lemaire, Nassim Abderrahmane, Gaétan Bahl, Ingrid Grenet, Matthieu Moretti, Michael Benguigui. 2nd European Workshop on On-Board Data Processing, 2021.
• Binary Graph Neural Networks. Mehdi Bahri, Gaétan Bahl, Stephanos Zafeiriou. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021.
• Road Extraction from Overhead Images with Graph Neural Networks. Gaétan Bahl, Mehdi Bahri, Florent Lafarge. EARTHVISION CVPR Workshop 2022. arXiv preprint arXiv:2112.05215
• SCR: Smooth Contour Regression with Geometric Priors. Gaétan Bahl, Lionel Daniel, Florent Lafarge. arXiv preprint arXiv:2202.03784
• Scanner Neural Network for On-board Segmentation of Satellite Images. Gaétan Bahl, Florent Lafarge. IGARSS 2022.

A PROPOS DE CIAR

Le projet CIAR (Chaîne Image Autonome et Réactive) étudie les technologies permettant de déployer l’Intelligence Artificielle pour le traitement d’images sur des systèmes embarqués (satellites, drones de livraison, etc.). Trois défis interdépendants sont abordés : la définition des cas d’utilisation et la constitution de bases de données d’images pertinentes ; la conception d’une IA à la fois performante et bien adaptée aux contraintes des systèmes embarqués ; l’optimisation des algorithmes sélectionnés et leur intégration dans des cibles matérielles. Depuis plusieurs années, l’équipe du CIAR collabore avec l’ESA sur la mission OPS-SAT. Le 22 mars 2021, l’équipe a réussi à télécharger un réseau de neurones sur le FPGA embarqué dans ce satellite. Ceci illustre la capacité de l’IRT Saint Exupéry à relever tous ces défis techniques.

JURY

Florent LAFARGE	Directeur de Thèse	Inria, Sophia-Antipolis
Pierre ALLIEZ	Examinateur	Inria, Sophia-Antipolis
Adrien GIRARD	Examinateur	IRT Saint Exupéry, Toulouse
Yuliya TARABALKA	Examinateur	LuxCarta
HEIPKE Christian	Rapporteur	Leibniz Universität Hannover, Germany
LEFEVRE Sébastien	Rapporteur	IRISA, Université Bretagne Sud, Rennes