Le 17 février 2021, Eduardo Sanchez a soutenu sa thèse. Décernée par l’Université Toulouse III – Paul Sabatier, son travail a été réalisé à l’IRIT et à l’IRT Saint Exupéry, sous la supervision de l’école doctorale EDMITT. La haute qualité et la pertinence de la thèse d’Eduardo ont contribué à l’obtention de résultats significatifs dans le cadre du projet Synapse.
SUJET DE THESE
“Apprentissage faiblement supervisé de représentations démêlées de séries temporelles d’images satellites . »
A PROPOS
Cette thèse se focalise sur l’apprentissage de représentations de séries temporelles d’images satellites via des méthodes d’apprentissage non supervisé. Le but principal est de créer une représentation qui capture l’information la plus pertinente de la série temporelle afin d’effectuer d’autres applications d’imagerie satellite.
Cependant, l’extraction d’information à partir de la donnée satellite implique de nombreux défis. D’un côté, les modèles doivent traiter d’énormes volumes d’images fournis par les satellites. D’un autre côté, il est impossible pour les opérateurs humains d’étiqueter manuellement un tel volume d’images pour chaque tâche (par exemple, la classification, la segmentation, la détection de changement, etc.). Par conséquent, les méthodes d’apprentissage supervisé qui ont besoin des étiquettes ne peuvent pas être appliquées pour analyser la donnée satellite.
Pour résoudre ce problème, des algorithmes d’apprentissage non supervisé ont été proposés pour apprendre la structure de la donnée au lieu d’apprendre une tâche particulière. L’apprentissage non supervisé est une approche puissante, car aucune étiquette n’est nécessaire et la connaissance acquise sur la donnée peut être transférée vers d’autres tâches permettant un apprentissage plus rapide avec moins d’étiquettes.
Dans ce travail, on étudie le problème de l’apprentissage de représentations démêlées de séries temporelles d’images satellites. Le but consiste à créer une représentation partagée qui capture l’information spatiale de la série temporelle et une représentation exclusive qui capture l’information temporelle spécifique à chaque image. On présente les avantages de créer des représentations spatio-temporelles. Par exemple, l’information spatiale est utile pour effectuer la classification ou la segmentation d’images de manière invariante dans le temps tandis que l’information temporelle est utile pour la détection de changement.
Pour ce faire, on analyse plusieurs modèles d’apprentissage non supervisé tels que l’auto-encodeur variationnel (VAE) et les réseaux antagonistes génératifs (GANs) ainsi que les extensions de ces modèles pour effectuer le démêlage des représentations. Considérant les résultats impressionnants qui ont été obtenus par les modèles génératifs et reconstructifs, on propose un nouveau modèle qui crée une représentation spatiale et une représentation temporelle de la donnée satellite. On montre que les représentations démêlées peuvent être utilisées pour effectuer plusieurs tâches de vision par ordinateur surpassant d’autres modèles de l’état de l’art. Cependant, nos expériences suggèrent que les modèles génératifs et reconstructifs présentent des inconvénients liés à la dimensionnalité de la représentation, à la complexité de l’architecture et au manque de garanties sur le démêlage.
Pour surmonter ces limitations, on étudie une méthode récente basée sur l’estimation et la maximisation de l’informations mutuelle sans compter sur la reconstruction ou la génération d’image. On propose un nouveau modèle qui étend le principe de maximisation de l’information mutuelle pour démêler le domaine de représentation. En plus des expériences réalisées sur la donnée satellite, on montre que notre modèle est capable de traiter différents types de données en étant plus performant que les méthodes basées sur les GANs et les VAEs. De plus, on prouve que notre modèle demande moins de puissance de calcul et pourtant est plus efficace.
Enfin, on montre que notre modèle est utile pour créer une représentation qui capture uniquement l’information de classe entre deux images appartenant à la même catégorie. Démêler la classe ou la catégorie d’une image des autres facteurs de variation permet de calculer la similarité entre pixels et effectuer la segmentation d’image d’une manière faiblement supervisée.
LE PROJET SYNAPSE
Le projet SYNAPSE aide les opérateurs et intégrateurs de systèmes spatiaux à rester compétitifs face aux nouveaux entrants du monde digital dans un contexte de production de données massives et ouvertes ; en permettant la fourniture d’un service vers plus d’utilisateurs, à plus haute fréquence et de façon plus réactive ; en fournissant des outils et méthodes issus notamment du monde Big Data pour l’émergence de nouvelles applications. Investigation de nouvelles techniques d’Intelligence Artificiel (Reinforcement Learning, Deep Learning, etc.) et de nouvelles infrastructures pour l’exécution des algorithmes d’IA dans le domaine du spatial.
JURY
| Elisa FROMONT | Présidente du jury | IRISA |
| Nicolas COURTY | Rapporteur | IRISA |
| Ronan FABLET | Rapporteur | IMT Atlantique |
| Mélanie DUCOFFE | Examinatrice | Airbus/IRT Saint Exupéry |
| Jean-Michel LOUBES | Examinateur | IMT/Aniti |
| Mathieu SERRURIER | Directeur de thèse | IRIT/IRT Saint Exupéry |
| Mathias OTNER | Co-Directeur de thèse | Airbus Defence & Space |
PUBLICATIONS (EN)
Eduardo Hugo Sanchez, Mathieu Serrurier, and Mathias Ortner. Learning disentangled representations of satellite image time series. In Proceedings of the European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD), Würzburg, 2019.
Eduardo Hugo Sanchez, Mathieu Serrurier, and Mathias Ortner. Image-to-image translation for satellite image time series representation learning. In Conférence sur l’Apprentissage automatique (CAp), Toulouse, 2019.
Eduardo Hugo Sanchez, Mathieu Serrurier, and Mathias Ortner. Learning disentangled representations via mutual information estimation. In Proceedings of the European Conference on Computer Vision (ECCV), Online, 2020.
Eduardo Hugo Sanchez, Mathieu Serrurier, and Mathias Ortner. Mutual information measure for image segmentation using few labels. In Proceedings of the European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD), Online, 2020.