Segmentation Sémantique en Télédétection

1. Introduction

La segmentation sémantique constitue aujourd’hui l’une des tâches fondamentales de l’analyse d’image. Son objectif est d’associer à chaque pixel d’une image une étiquette appartenant à un ensemble prédéfini de classes sémantiques. Si cette terminologie s’est imposée avec l’essor de l’apprentissage profond au milieu des années 2010, le problème qu’elle désigne est étudié depuis plusieurs décennies en télédétection sous des appellations telles que classification supervisée, classification pixel à pixel ou classification contextuelle [1, 2, 3]. Dans le cadre de la télédétection, l’objectif est de transformer des observations satellitaires acquises par les capteurs en cartes thématiques décrivant l’occupation ou l’utilisation du sol (voir la Figure 1).

L’évolution des méthodes de segmentation en télédétection peut être interprétée comme une intégration progressive de niveaux croissants d’information. Les premières approches reposent exclusivement sur les signatures radiométriques observées au niveau du pixel. Les méthodes discriminantes améliorent ensuite les frontières de décision, tandis que les approches contextuelles et les modèles markoviens introduisent les relations spatiales entre observations voisines. Les méthodes spectro-spatiales enrichissent la représentation des scènes en combinant informations radiométriques, texturales et géométriques, alors que les approches variationnelles proposent des formulations énergétiques permettant de modéliser explicitement les régions et leurs frontières. Enfin, les réseaux profonds, les “transformers” et les modèles de fondation déplacent le problème vers l’apprentissage automatique de représentations hiérarchiques, multimodales et transférables.

Dans sa définition actuelle, la segmentation sémantique consiste à estimer une fonction reliant chaque pixel d’une image à une classe appartenant à une ontologie prédéfinie. Elle produit une carte dense dans laquelle chaque pixel reçoit une interprétation sémantique, et se distingue également des méthodes de segmentation dites de “bas niveau”, dont l’objectif est uniquement de partitionner une image en régions homogènes sans leur associer de signification.

Les images de télédétection présentent cependant des caractéristiques qui les distinguent des images naturelles. Elles peuvent être acquises par des capteurs optiques, radar (radar à synthèse d’ouverture, RSO) ou LiDAR, couvrir des résolutions spatiales très variables, être observées à différentes dates ou combiner plusieurs modalités d’acquisition. Elles décrivent également des scènes géographiques complexes, dont les propriétés varient selon les régions, les saisons ou les conditions d’acquisition. Par conséquent, l’évolution des méthodes de segmentation en télédétection ne peut être réduite à une simple adaptation des avancées de la vision par ordinateur ; elle résulte d’une convergence entre reconnaissance statistique des formes, traitement du signal et des images, modélisation probabiliste, morphologie mathématique, géométrie stochastique, analyse orientée objet et, plus récemment, apprentissage profond.

D’un point de vue formel, une image de télédétection est représentée par une fonction \(I : \Omega \to \mathbb{R}^d\) , où Ω désigne le domaine spatial de l’image et d le nombre de variables disponibles. Selon le capteur, ces variables peuvent correspondre à une bande panchromatique, plusieurs bandes multispectrales ou hyperspectrales, des polarisations RSO, des mesures LiDAR, ou encore des données dérivées telles que des indices spectraux, des modèles numériques de terrain ou d’autres informations auxiliaires. La segmentation sémantique consiste alors à estimer une fonction \(f : \Omega \to C\), où C désigne l’ensemble fini des classes sémantiques considérées.

Figure 1a
(a)
Figure 1b
(b)
Figure 1. Exemple de segmentation sémantique en télédétection: (a) image aérienne originale et (b) carte de segmentation. Ensemble de données Zeebruges publié par le comité technique d’analyse d’image et de fusion de données (IADF) IEEE GRSS, images et données de vérité terrain fournis par l’Académie royale militaire belge et ONERA – Laboratoire aérospatial français.

2. Classification statistique : les premières approches pixel à pixel

L’apparition des premiers satellites d’observation de la Terre, notamment avec le programmes Landsat (optique) et SeaSat (radar), respectivement au début et à la fin des années 1970, marque le développement de la télédétection numérique moderne et crée un besoin croissant de méthodes automatiques capables de produire des cartes d’occupation du sol à partir des images multispectrales ou radar [4, 5, 6]. Les premières approches s’appuient alors sur les fondements de la reconnaissance statistique des formes, qui fournissent un cadre probabiliste rigoureux pour la classification supervisée des pixels [1, 2].

Dans cette formulation, chaque pixel est représenté par un vecteur d’observations [1] :

$$\begin{equation}\label{eq:vecteur-observations} \mathbf{x} = (x_1, \ldots, x_d)^T, \end{equation}$$

où les composantes correspondent aux réponses radiométriques enregistrées dans les différentes bandes spectrales du capteur (dans le cas d’un capteur optique) ou aux intensités RSO, à des données auxiliaires, à des indices de végétation ou à d’autres variables dérivées pertinentes pour la tâche. La classification consiste alors à attribuer au pixel la classe la plus probable selon une règle de décision bayésienne,

$$\begin{equation}\label{eq:decision-bayesienne} \hat{\omega} = \arg\max_{\omega_i} P(\omega_i \mid \mathbf{x}). \end{equation}$$

Sous l’hypothèse que les observations de chaque classe suivent une distribution gaussienne multivariée, cette formulation conduit naturellement au classifieur du maximum à posteriori (MAP), parfois appelé de manière informelle classifieur du maximum de vraisemblance (Maximum Likelihood Classifier, MLC en anglais), qui devient pendant plusieurs décennies la méthode de référence pour la classification des images satellitaires [2, 3, 7]. Son succès repose sur une interprétation probabiliste simple, une mise en œuvre relativement peu coûteuse et des performances satisfaisantes.

Toutefois, les limites de ces approches apparaissent progressivement avec l’amélioration des capteurs. L’augmentation du nombre de variables spectrales ne conduit pas directement à une amélioration des performances lorsque le nombre d’échantillons d’apprentissage demeure limité, phénomène décrit dès la fin des années 1960 et aujourd’hui connu sous le nom de “malédiction de la dimension” (Hughes phenomenon, en anglais) [8]. Cette observation met en évidence les limites des approches purement statistiques fondées uniquement sur les signatures spectrales.

Une seconde limitation provient de l’hypothèse d’indépendance des observations. Les premiers classifieurs considèrent chaque pixel indépendamment de son voisinage, sans exploiter les relations spatiales existant entre les éléments de la scène. Or, les objets géographiques présentent naturellement une forte cohérence spatiale : les pixels appartenant à une même parcelle agricole, une forêt, une zone urbaine ou un réseau routier possèdent généralement des caractéristiques similaires et sont spatialement corrélés. Cette hypothèse d’indépendance conduit fréquemment à des cartes bruitées présentant un effet de type “poivre et sel”, particulièrement marqué lorsque la résolution spatiale augmente (voir la Figure 2).

Ces limitations conduisent progressivement au développement d’approches dites contextuelles, dans lesquelles la décision ne dépend plus uniquement des caractéristiques radiométriques d’un seul pixel mais également de son environnement spatial. Cette évolution marque une transition importante dans l’histoire de la segmentation en télédétection, puisque le problème cesse progressivement d’être considéré comme une simple classification spectrale pour devenir un problème d’interprétation spatiale des scènes [9, 10, 11].

Figure 2a
(a)
Figure 2b
(b)
Figure 2c
(c)
Figure 2. Comparaison entre la classification pixel-à-pixel et la classification contextuelle: (a) image satellitaire IKONOS, 4-m res., 3 bandes, composition en fausses couleurs (infrarouge voisin - rouge - bleu), (b) carte de segmentation pixel-à-pixel et (c) carte de segmentation contextuelle [12].

3. Méthodes discriminantes et méthodes à noyaux

Les limites des classifieurs probabilistes classiques conduisent, à partir de la fin des années 1990, à un intérêt croissant pour les méthodes discriminantes, dont l’objectif est d’estimer directement les frontières de décision entre classes plutôt que de modéliser la distribution statistique des observations. Cette évolution répond notamment aux difficultés rencontrées lorsque les hypothèses gaussiennes sont peu réalistes ou lorsque la dimension des données devient élevée.

Parmi ces approches, les machines à vecteurs de support (Support Vector Machines, SVM en anglais) s’imposent rapidement comme une référence pour la classification supervisée des images de télédétection. Issues de la théorie de l’apprentissage statistique, elles reposent sur le principe de maximisation de la marge entre classes, ce qui leur confère d’excellentes capacités de généralisation, même lorsque le nombre d’échantillons d’apprentissage est limité par rapport à la dimension des données [13, 14].

L’introduction des méthodes à noyaux étend naturellement ce cadre aux problèmes non linéaires en permettant la construction de frontières de décision complexes tout en conservant une formulation convexe du problème d’optimisation [15]. Au cours des années 2000, les SVM deviennent ainsi l’un des classifieurs les plus utilisés en télédétection. Leur succès est confirmé par de nombreuses études portant sur des données multispectrales, hyperspectrales et multisources, ce qui conduit au développement de noyaux spécifiquement adaptés aux caractéristiques des observations géospatiales [16, 17].

Les SVM améliorent toutefois essentiellement la fonction de décision. Appliqués directement aux vecteurs d’observations, ils restent des classifieurs pixel à pixel et n’intègrent pas explicitement les dépendances spatiales entre étiquettes. Cette distinction est importante : au cours des années 2000, les progrès de la classification en télédétection proviennent autant du développement de nouveaux classifieurs que de l’introduction de représentations spatiales de plus en plus riches, deux directions de recherche qui évolueront largement en parallèle.

4. Méthodes d’ensemble

Alors que les méthodes à noyaux dominent une grande partie des travaux sur la classification supervisée, une autre direction de recherche se développe autour de l’apprentissage d’ensemble (ensemble learning en anglais). Son principe consiste à combiner plusieurs classifieurs afin d’améliorer la robustesse et les capacités de généralisation. Parmi ces approches, les forêts aléatoires (Random Forests, RF en anglais) [18], deviennent rapidement l’une des méthodes les plus populaires en télédétection.

Les RF construisent un ensemble d’arbres de décision appris sur des sous-ensembles aléatoires des observations et des variables, puis agrègent leurs prédictions par vote majoritaire. Cette stratégie limite le surapprentissage tout en conservant une forte capacité à modéliser des relations non linéaires. En pratique, les RF présentent plusieurs avantages qui expliquent leur diffusion rapide : elles nécessitent peu de réglages, sont robustes au bruit, peuvent traiter un grand nombre de variables et fournissent des mesures d’importance des caractéristiques utiles pour l’interprétation des modèles.

Les premières applications en télédétection montrent rapidement leur efficacité pour la classification des images multispectrales et hyperspectrales [19]. Les forêts aléatoires deviennent ensuite un outil de référence pour de nombreuses tâches, notamment la cartographie de l’occupation du sol, la détection de changements et la fusion de données multisources [20]. Comme les SVM, elles restent indépendantes de la représentation utilisée et peuvent être associées aussi bien à des variables spectrales qu’à des caractéristiques texturales, morphologiques ou spectro-spatiales.

L’essor des méthodes discriminantes et des approches d’ensemble améliore considérablement les performances des classifieurs supervisés. Il ne résout cependant pas une limitation fondamentale des approches pixel à pixel : l’absence de prise en compte explicite de l’organisation spatiale des scènes. Cette question devient alors l’un des principaux axes de recherche en segmentation et classification d’image.

5. Classification contextuelle et premiers modèles spatiaux

L’amélioration des performances des classifieurs supervisés ne suffit pas à éliminer les artefacts de type poivre et sel (salt-and-pepper en anglais) observés dans les cartes produites par les approches pixel à pixel. Dès les années 1980-1990, une part importante de la recherche s’oriente donc vers l’introduction du contexte spatial dans le processus de classification. L’idée est simple : dans une scène de télédétection, les objets géographiques présentent généralement une forte cohérence spatiale, de sorte qu’un pixel a davantage de chances d’appartenir à la même classe que ses voisins immédiats qu’à une classe totalement différente.

Les modèles contextuels [3] exploitent cette propriété en enrichissant la décision à partir de l’environnement spatial des observations. L’information pertinente ne réside alors plus uniquement dans la réponse radiométrique locale, mais également dans les relations de voisinage, les structures régionales et, plus généralement, dans l’organisation spatiale de la scène.

Plusieurs niveaux d’information contextuelle sont progressivement distingués. Le contexte local repose sur les interactions entre pixels voisins ou sur l’exploitation de fenêtres de taille limitée, permettant de mieux représenter les dépendances spatiales immédiates [21, 22]. Le contexte régional introduit des caractéristiques décrivant des ensembles de pixels, telles que la texture, la forme, la taille ou l’homogénéité des régions segmentées, annonçant les approches orientées objet qui se développeront par la suite [23]. Enfin, le contexte global cherche à intégrer des informations décrivant l’organisation générale de la scène, les relations entre objets ou des connaissances a priori sur leur disposition spatiale. Cette hiérarchie entre contexte local, régional et global restera un principe structurant dans l’évolution des méthodes de segmentation, jusqu’aux architectures profondes contemporaines [24, 25, 26].

L’exploitation de ces informations améliore significativement les performances de classification (voir la Figure 2), aussi bien pour des images multispectrales que pour des données multitemporelles ou multisources [27, 28]. Dans le même temps, plusieurs travaux proposent des formulations probabilistes permettant de modéliser explicitement les interactions entre observations voisines, notamment dans le cadre de la fusion d’informations optiques, radar et texturales [11].

La classification n’est dès lors plus considérée comme une succession de décisions indépendantes, mais comme un problème global dans lequel les étiquettes doivent être estimées conjointement afin de produire une représentation cohérente de la scène. Cette évolution conduit naturellement au développement des modèles markoviens et des approches bayésiennes spatiales, qui fourniront un cadre théorique rigoureux pour formaliser ces interactions.

6. Modèles markoviens et bayésiens

Les modèles contextuels montrent qu’il est essentiel d’exploiter les relations spatiales entre observations voisines. Les champs de Markov (Markov Random Fields, MRF en anglais) constituent la première formalisation probabiliste générale de cette idée et deviennent rapidement l’un des cadres théoriques les plus influents pour la segmentation et la classification d’image [9, 10, 29].

Le principe consiste à considérer les étiquettes non plus comme des variables indépendantes, mais comme un ensemble de variables aléatoires définies sur un graphe de voisinage. Sous les hypothèses de Markov et grâce à l’équivalence entre champs de Markov et distributions de Gibbs, la recherche de la carte de classes optimale peut être formulée comme un problème d’estimation du MAP :

$$\begin{equation}\label{eq:map} \hat{Y} = \arg\max_Y P(Y \mid X), \end{equation}$$

où X représente les observations et Y l’ensemble des étiquettes à estimer. En appliquant le théorème de Bayes, ce problème devient équivalent à la minimisation d’une fonction d’énergie

$$\begin{equation}\label{eq:energie-min} \hat{Y} = \arg\min_Y U(Y \mid X), \end{equation}$$

avec

$$\begin{equation}\label{eq:energie} U(Y \mid X) = U_d(Y \mid X) + \beta U_r(Y \mid X), \end{equation}$$

où \(U_d\) représente le terme d’attache aux données, généralement dérivé de la vraisemblance des observations, tandis que \(U_r\) introduit une contrainte de régularisation spatiale favorisant la cohérence entre pixels voisins (voir la Figure 3). Le paramètre \(\beta\) contrôle le compromis entre fidélité aux observations et régularité de la solution.

Figure 3a
(a)
Figure 3b
(b)
Figure 3. Exemple de voisinage entre pixels dans une grille : (a) voisinage du premier ordre et (b) voisinage du second ordre [29].

Cette formulation présente un intérêt majeur, car elle permet d’intégrer dans un cadre unique les observations radiométriques et les interactions spatiales. Les systèmes de voisinage sont généralement définis au premier ou au second ordre, tandis que les potentiels de clique pénalisent certaines configurations d’étiquettes, par exemple les changements de classe entre pixels adjacents [9, 10, 29]. La segmentation résulte ainsi d’un compromis entre l’information apportée par les données et une hypothèse explicite de cohérence spatiale.

L’estimation de la configuration optimale constitue toutefois un problème d’optimisation difficile. Plusieurs stratégies sous-optimales sont alors proposées afin de rendre ces modèles exploitables en pratique, notamment les algorithmes ICM (Iterated Conditional Modes en anglais), le recuit simulé (Simulated Annealing en anglais) [30], les échantillonneurs de Gibbs [9], puis les méthodes fondées sur les coupes de graphes (graph cut en anglais) [31] ou sur la propagation de croyance avec boucles (loopy belief propagation en anglais) [32].

Les MRF deviennent rapidement un outil de référence pour améliorer la cohérence spatiale des classifications, la segmentation d’image multisource, la restauration, la détection de changement ainsi que la fusion de données optique, radar ou LiDAR [11, 33, 34]. Leur apport dépasse toutefois ces applications particulières : ils fournissent une formulation probabiliste générale de la régularisation spatiale qui influencera durablement les développements ultérieurs en segmentation.

Les champs conditionnels aléatoires (Conditional Random Fields, CRF en anglais) prolongent naturellement cette famille de modèles en représentant directement la distribution conditionnelle \(P(Y \mid X)\) plutôt que la distribution jointe des observations et des étiquettes [35]. Cette formulation facilite l’utilisation de caractéristiques discriminantes complexes et s’intègre plus naturellement aux méthodes d’apprentissage supervisé. Les CRF connaissent ainsi un développement important en segmentation d’image, notamment avec les modèles entièrement connectés, qui permettent de mieux préserver les contours des objets [36]. Ils seront ensuite intégrés aux architectures profondes sous forme de modules de raffinement ou de couches différentiables, établissant un lien direct entre les modèles graphiques probabilistes et les approches modernes de segmentation [37].

Au-delà de leurs applications propres, les MRF et les CRF introduisent une idée qui restera centrale tout au long de l’évolution de la segmentation : une carte d’occupation du sol ne doit pas seulement être compatible avec les observations locales, mais également avec l’organisation spatiale de la scène. Cette idée sera reprise, sous des formulations différentes, dans les méthodes variationnelles, les approches fondées sur les graphes, les méthodes orientées objet puis, plus récemment, dans certaines stratégies de régularisation des réseaux profonds [31, 36, 38, 39, 40, 41].

7. Méthodes spectro-spatiales

L’introduction de modèles contextuels améliore la cohérence des cartes de classification, mais elle ne modifie pas la représentation des observations elles-mêmes. Une démarche complémentaire consiste alors à enrichir directement les caractéristiques utilisées par le classifieur en combinant les informations spectrales avec des descripteurs spatiaux. Cette idée donne naissance, au cours des années 2000, au paradigme spectro-spatial, qui jouera un rôle majeur dans l’évolution de la classification d’image de télédétection [5].

Cette évolution est favorisée par l’amélioration progressive des résolutions spatiales et spectrales des capteurs. Alors que les premières générations d’image étaient principalement caractérisées par leurs signatures radiométriques, les images à plus haute résolution révèlent la structure interne des objets géographiques. Une même classe peut ainsi présenter une forte variabilité spectrale, tandis que des objets différents possèdent parfois des signatures radiométriques très proches. La texture, la forme, la taille, l’organisation spatiale et les relations de voisinage deviennent alors des informations aussi discriminantes que les valeurs spectrales elles-mêmes [42].

Les premières approches spectro-spatiales exploitent des statistiques locales, des descripteurs texturaux ainsi que des opérateurs issus de la morphologie mathématique afin de construire des représentations plus riches des observations [21, 43, 44]. Contrairement aux modèles markoviens, qui introduisent une régularisation spatiale au niveau des étiquettes, ces méthodes enrichissent les vecteurs de caractéristiques avant la phase de classification.

Une étape importante est franchie avec l’introduction des profils morphologiques étendus (Extended Morphological Profiles, EMP en anglais), puis des profils d’attributs (Attribute Profiles en anglais), qui permettent de décrire simultanément les propriétés spectrales et la structure spatiale des scènes à différentes échelles d’observation [45, 46]. Ces représentations deviennent rapidement des références pour la classification des images hyperspectrales et, plus généralement, pour les données à haute et très haute résolution spatiale.

Les descripteurs ainsi construits peuvent ensuite être associés à différents classifieurs supervisés. Les combinaisons avec les machines à vecteurs de support obtiennent notamment des performances remarquables et contribuent largement à la diffusion des approches spectro-spatiales [16, 47]. Toutefois, le principe est plus général : ces représentations peuvent être exploitées par des forêts aléatoires, des réseaux de neurones ou d’autres méthodes discriminantes. Les gains observés proviennent autant de la qualité de la représentation que des performances du classifieur utilisé.

Le développement des méthodes spectro-spatiales s’accompagne également d’avancées imporÉrosion Image originale Dilatations tantes en réduction de dimension, extraction de caractéristiques et fusion de données multisources. Les représentations multi-échelles, les méthodes fondées sur les sous-espaces et les techniques de fusion permettent progressivement de construire des vecteurs combinant informations spectrales, texturales, morphologiques et géométriques dans un même espace de représentation [48, 49].

Érosion
Érosion
Image originale
Image originale
Dilatation
Dilatation
Figure 4. Exemple d’érosion (à gauche) et dilatation (à droite) de l’image satellite originale RVB (centre).

Les approches spectro-spatiales s’appliquent également aux images multispectrales, aux données radar (RSO), aux images aériennes à très haute résolution ainsi qu’aux approches multimodales combinant plusieurs capteurs ou des données auxiliaires. L’objectif n’est donc pas d’exploiter un plus grand nombre de bandes spectrales, mais de construire une représentation intégrant l’ensemble des informations pertinentes décrivant la scène observée.

Enfin, plusieurs travaux proposent d’utiliser les régions segmentées comme unités d’analyse plutôt que les pixels individuels. En remplaçant la classification pixel à pixel par une classification fondée sur des régions homogènes, ces approches améliorent la cohérence spatiale des cartes tout en réduisant les effets de bruit [50].

8. Méthodes variationnelles et modèles énergétiques

Alors que les modèles markoviens expriment la cohérence spatiale dans un cadre probabiliste, une autre famille d’approches développe une idée similaire à partir de la fin des années 1980 en formulant la segmentation comme un problème de minimisation d’énergie. Les méthodes variationnelles ne cherchent plus à modéliser explicitement une distribution de probabilité sur les étiquettes, mais à déterminer la partition de l’image qui réalise le meilleur compromis entre fidélité aux observations et régularité spatiale ou géométrique [29, 51, 52].

Les premiers développements concernent les contours actifs (active contours en anglais), qui représentent les frontières des objets sous la forme de courbes déformables évoluant sous l’action de forces internes, assurant la régularité du contour, et de forces externes dérivées des informations contenues dans l’image [52, 53]. Ces modèles introduisent une représentation explicite des contours et ouvrent la voie à une large famille de méthodes fondées sur la minimisation d’énergie.

Une avancée majeure est ensuite apportée par la fonctionnelle de Mumford–Shah, qui constitue encore aujourd’hui l’un des modèles variationnels les plus influents en traitement des images [51]. Dans cette formulation, la segmentation est obtenue en recherchant simultanément une approximation régulière de l’image et un ensemble de discontinuités correspondant aux contours des objets :

$$\begin{equation}\label{eq:mumford-shah} E(u,K) = \int_{\Omega} (u-I)^2\,\mathrm{d}x + \mu \int_{\Omega \setminus K} |\nabla u|^2\,\mathrm{d}x + \nu |K|. \end{equation}$$

où u désigne l’image reconstruite, I l’image observée, K l’ensemble des discontinuités représentant les contours des objets, \(\mu > 0\) un paramètre de régularisation contrôlant la douceur de la solution à l’intérieur des régions, et \(\nu > 0\) un paramètre pondérant la longueur, ou plus généralement la mesure, des contours afin d’en limiter la complexité géométrique.

Le premier terme mesure la fidélité de la solution aux observations, le second favorise une représentation régulière à l’intérieur des régions, tandis que le troisième pénalise la complexité des contours. Cette décomposition illustre un principe commun à de nombreuses méthodes de segmentation : rechercher un équilibre entre l’ajustement aux données et la régularité de la solution.

Les développements ultérieurs cherchent à améliorer la robustesse numérique et la flexibilité de ces modèles. Les méthodes des surfaces de niveau (level sets en anglais) représentent les contours de manière implicite au moyen d’une fonction de niveau, ce qui facilite la gestion automatique des changements de topologie au cours de l’évolution de la segmentation [54]. Quelques années plus tard, les modèles régionaux remplacent progressivement les approches reposant uniquement sur les gradients de l’image. En s’appuyant sur les statistiques des régions plutôt que sur les seuls contours, ils permettent une segmentation plus robuste dans les images bruitées ou faiblement contrastées [55].

Les méthodes variationnelles trouvent rapidement des applications en télédétection, notamment pour la segmentation des images optiques à haute résolution, la restauration, la fusion de données et l’extraction d’objets géographiques. Plusieurs formulations proposent d’unifier dans une même fonctionnelle les problèmes de classification, de segmentation et de restauration, établissant ainsi un lien direct entre les approches probabilistes et les modèles variationnels [52]. Cette proximité conceptuelle est aujourd’hui largement reconnue : les modèles bayésiens, les MRF, les méthodes variationnelles et les formulations fondées sur les graphes peuvent souvent être interprétés comme différentes expressions d’un même principe, consistant à combiner un terme d’attache aux données avec une régularisation spatiale ou géométrique.

Les méthodes variationnelles constituent également un pont vers les approches modernes de segmentation. Plusieurs de leurs concepts, notamment les formulations énergétiques, les contraintes de régularité et les compromis entre fidélité aux données et cohérence spatiale, réapparaissent aujourd’hui sous des formes différentes dans les fonctions de perte, les procédures d’optimisation et certaines architectures hybrides combinant modèles variationnels et apprentissage profond.

Figure 5a
(a)
Figure 5b
(b)
Figure 5. Classification par une méthode variationnelle: (a) image satellitaire SPOT © CNES et (b) carte de segmentation obtenue par la méthode variationnelle dans [56].
Figure 6
Figure 6. Architecture d’une FCN appliquée aux images aériennes de la base de données ISPRS 2D Semantic Labeling Challenge Potsdam [61].

9. Apprentissage profond et segmentation sémantique

À partir de 2012, l’apprentissage profond transforme profondément les méthodes de classification et de segmentation d’image. Cette évolution est notamment marquée par les résultats obtenus lors du ImageNet Large Scale Visual Recognition Challenge (ILSVRC), où le réseau AlexNet démontre une amélioration spectaculaire des performances en classification des images naturelles [57]. Ces résultats montrent qu’il est possible d’apprendre automatiquement des représentations hiérarchiques directement à partir des données, sans recourir à la conception manuelle de descripteurs spectraux, texturaux ou géométriques. La qualité des performances dépend alors non seulement du classifieur, mais également de la capacité du réseau à apprendre conjointement une représentation pertinente et la fonction de décision.

Cette évolution est rapidement transposée au domaine de la télédétection. Plusieurs travaux montrent que les réseaux convolutifs apprennent des représentations plus discriminantes que les descripteurs construits manuellement, tandis que le transfert de modèles pré-entraînés sur de grandes bases d’images naturelles ouvre la voie au transfert d’apprentissage vers les images aériennes et satellitaires [58, 59]. Les approches spectro-spatiales, jusque-là fondées sur des représentations conçues manuellement, évoluent progressivement vers des représentations apprises directement à partir des données.

Une étape décisive est franchie avec les réseaux de neurones entièrement convolutifs (Fully Convolutional Networks, FCN en anglais, voir la Figure 6), qui remplacent les architectures de classification classiques par des réseaux capables de produire directement une prédiction dense à l’échelle du pixel [60]. En supprimant les couches entièrement connectées au profit d’opérations exclusivement convolutionnelles, ces architectures permettent d’apprendre de bout en bout une fonction de segmentation, sans étape explicite d’extraction de caractéristiques ni post-traitement obligatoire.

Les architectures encodeur–décodeur complètent rapidement cette formulation, U-Net en constituant l’exemple le plus représentatif [62]. Les connexions de saut (skip connections en anglais) réinjectent dans le décodeur les informations de localisation perdues lors des opérations de sous-échantillonnage, améliorant ainsi la délimitation des contours et la segmentation des objets de petite taille. Grâce à leur simplicité et à leur efficacité, ces architectures deviennent rapidement des références pour de nombreuses applications en télédétection, notamment la cartographie de l’occupation du sol, l’extraction de bâtiments, de routes ou de réseaux hydrographiques [63, 64, 65].

L’évolution des réseaux profonds s’accompagne ensuite d’un effort important pour mieux représenter le contexte spatial et les objets observés à différentes échelles. Les réseaux résiduels facilitent l’apprentissage de modèles plus profonds en limitant les problèmes de disparition du gradient [66]. Les architectures “DeepLab” introduisent les convolutions dilatées ainsi que les modules d’agrégation multi-échelle (Atrous Spatial Pyramid Pooling en anglais), qui augmentent le champ réceptif sans dégrader la résolution spatiale des prédictions [67, 68]. Dans le même esprit, les pyramides de caractéristiques (Feature Pyramid Networks en anglais) améliorent la représentation d’objets de tailles très variables [69], propriété particulièrement importante en télédétection où une même scène peut contenir simultanément des véhicules, des bâtiments, des parcelles agricoles ou des massifs forestiers.

Parallèlement, l’intégration de données multimodales devient un axe majeur de recherche [63, 70]: les réseaux profonds permettent désormais d’apprendre directement des représentations communes à partir de plusieurs modalités d’observation. Cette évolution répond naturellement aux spécificités de la télédétection, où une même scène peut être décrite simultanément par des images optiques, des données RSO, des acquisitions LiDAR, des modèles numériques de terrain ou encore des données géographiques auxiliaires.

L’apprentissage profond ne fait ainsi pas disparaître les concepts développés au cours des décennies précédentes ; il les reformule dans un cadre d’apprentissage de bout en bout. Les notions de contexte spatial, de représentation multi-échelle, de fusion de données ou encore de hiérarchie des objets, auparavant décrites au moyen de modèles probabilistes, variationnels ou géométriques, sont désormais apprises directement par les architectures profondes.

Malgré les performances remarquables obtenues, les réseaux convolutifs présentent encore plusieurs limitations. Leur apprentissage repose généralement sur de grandes quantités d’annotations pixel à pixel, dont la production demeure particulièrement coûteuse en télédétection. Leur capacité de généralisation entre capteurs, régions géographiques ou modalités d’acquisition reste également limitée, tout comme leur aptitude à modéliser des dépendances spatiales à très longue portée. Ces limitations ouvrent naturellement la voie aux architectures fondées sur les mécanismes d’attention, puis aux modèles de fondation géospatiaux.

10. Transformers et modèles de fondation

Les limites des architectures convolutives, notamment pour la modélisation de dépendances spatiales à longue portée, conduisent progressivement à l’introduction de mécanismes d’attention en segmentation sémantique. Développés initialement pour le traitement automatique du langage naturel, les “transformers” permettent de modéliser directement les relations entre éléments distants d’une séquence [71]. Leur adaptation à la vision ouvre une nouvelle étape dans l’évolution des méthodes de segmentation [72].

Des architectures telles que “Swin Transformer” [73] et “SegFormer” [74] cherchent à combiner une représentation hiérarchique de l’image avec une modélisation plus globale du contexte. Cette propriété est particulièrement intéressante en télédétection, où l’interprétation d’un objet dépend souvent de son environnement à différentes échelles. L’identification d’un bâtiment, d’une route ou d’une parcelle agricole ne repose en effet pas uniquement sur son apparence locale, mais également sur son organisation au sein de la scène.

Parallèlement, l’apprentissage auto-supervisé devient un axe majeur de recherche. Les autoencodeurs masqués montrent qu’il est possible d’apprendre des représentations visuelles riches à partir de grandes quantités de données non annotées [75]. Cette évolution répond directement aux besoins de la télédétection, où les archives satellitaires sont abondantes alors que les annotations pixel à pixel demeurent rares et coûteuses.

Figure 7
Figure 7. Principe général d’un modèle de fondation géospatial.

Ces travaux conduisent progressivement à l’émergence des modèles de fondation géospatiaux (Geospatial Foundation Models en anglais) [76, 77, 78, 79, 80]. Pré-entraînés sur de très grands volumes de données, ces modèles peuvent ensuite être adaptés à différentes tâches, telles que la classification, la segmentation, la détection d’objets, la détection de changements ou la fusion multimodale (voir la Figure 7). L’objectif n’est plus uniquement d’optimiser une architecture pour un jeu de données particulier, mais d’apprendre des représentations génériques capables d’être transférées entre capteurs, régions géographiques et applications. Cette généralisation s’accompagne toutefois d’un coût de pré-entraînement particulièrement élevé, tant en temps de calcul qu’en ressources matérielles et énergétiques, soulevant des questions relatives à l’empreinte environnementale de ces modèles et à leur accessibilité pour la communauté scientifique.

Cette évolution ne constitue pas une rupture complète avec les approches précédentes. Les modèles de fondation prolongent au contraire plusieurs questions qui traversent l’histoire de la segmentation en télédétection : comment intégrer des données hétérogènes, représenter le contexte spatial, généraliser à de nouvelles régions ou tirer parti de modalités d’observation complémentaires. La différence réside désormais dans le fait que ces capacités sont apprises à partir de très grands volumes de données plutôt que construites explicitement par la conception de modèles ou de descripteurs spécialisés.

11. Conclusion

L’histoire de la segmentation sémantique en télédétection ne suit pas une trajectoire linéaire allant simplement des classifieurs statistiques aux réseaux profonds. Elle résulte plutôt de plusieurs traditions scientifiques qui se sont progressivement rejointes : classification statistique, méthodes à noyaux, méthodes d’ensemble, modèles contextuels, champs de Markov, méthodes variationnelles, géométrie stochastique, apprentissage profond et modèles de fondation.

Cette histoire peut être résumée comme une intégration progressive de niveaux croissants du contexte. Les premières approches exploitent l’information spectrale locale. Les modèles contextuels et markoviens introduisent la cohérence spatiale. Les méthodes variationnelles et les processus ponctuels marqués modélisent les frontières, les régions et les objets. Les approches spectro-spatiales et orientées objet combinent radiométrie, texture, forme et voisinage. Les réseaux profonds apprennent automatiquement ces représentations, tandis que les “transformers” et les modèles de fondation cherchent aujourd’hui à construire des représentations géospatiales générales, multimodales et transférables.

Les défis actuels restent nombreux : généralisation géographique, manque d’annotations, fusion de données optiques, radar et LiDAR, prise en compte de la temporalité, interprétabilité des modèles et robustesse opérationnelle. Ces questions montrent que la segmentation sémantique en télédétection demeure un domaine ouvert, situé à l’intersection du traitement du signal et des images, de la modélisation probabiliste, de la géométrie, de la vision par ordinateur et de l’intelligence artificielle, dans un contexte géospatial.

Références

[1] R. O. Duda and P. E. Hart, Pattern Classification and Scene Analysis. Wiley, 1973.
[2] P. H. Swain and S. M. Davis, Remote Sensing: The Quantitative Approach. 1978.
[3] J. A. Richards, Remote Sensing Digital Image Analysis. McGraw-Hill, Springer, 1986.
[4] R. Schowengerdt, Remote Sensing: Models and Methods for Image Processing. Academic Press, 2007. [Online]. Available: https://books.google.it/books?id=oG 3nQEACAAJ
[5] D. A. Landgrebe, Signal Theory Methods in Multispectral Remote Sensing. John Wiley Sons, Ltd, 2003.
[6] F. Ulaby and D. Long, Microwave radar and radiometric remote sensing, 1st ed. House, 2015.
[7] P. M. Mather, Computer Processing of Remotely-Sensed Images. Artech Wiley, 2004.
[8] G. Hughes, “On the mean accuracy of statistical pattern recognizers,” IEEE Transactions on Information Theory, vol. 14, no. 1, pp. 55–63, 1968.
[9] S. Geman and D. Geman, “Stochastic relaxation, Gibbs distributions, and the Bayesian restoration of images,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 6, no. 6, pp. 721–741, 1984.
[10] J. Besag, “On the statistical analysis of dirty pictures,” Journal of the Royal Statistical Society: Series B, vol. 48, no. 3, pp. 259–302, 1986.
[11] A. H. S. Solberg, T. Taxt, and A. K. Jain, “A Markov random field model for classification of multisource satellite imagery,” IEEE Transactions on Geoscience and Remote Sensing, vol. 34, no. 1, pp. 100–113, 1996.
[12] G. Moser, S. B. Serpico, and J. A. Benediktsson, “Land-cover mapping by Markov modeling of spatial–contextual information in very-high-resolution remote sensing images,” Proceedings of the IEEE, vol. 101, no. 3, pp. 631–651, 2013.
[13] V. N. Vapnik, Statistical Learning Theory. Wiley, 1998.
[14] C. Cortes and V. Vapnik, “Support-vector networks,” Machine Learning, vol. 20, pp. 273–297, 1995.
[15] B. Schölkopf and A. J. Smola, Learning with Kernels. MIT Press, 2002.
[16] G. Camps-Valls and L. Bruzzone, Kernel Methods for Remote Sensing Data Analysis. Wiley, 2009.
[17] G. Mountrakis, J. Im, and C. Ogole, “Support vector machines in remote sensing: A review,” ISPRS Journal of Photogrammetry and Remote Sensing, vol. 66, no. 3, pp. 247–259, 2011.
[18] L. Breiman, “Random forests,” Machine Learning, vol. 45, no. 1, pp. 5–32, 2001.
[19] P. O. Gislason, J. A. Benediktsson, and J. R. Sveinsson, “Random forests for land cover classification,” Pattern Recognition Letters, vol. 27, no. 4, pp. 294–300, 2006.
[20] M. Belgiu and L. Drăguţ, “Random forest in remote sensing: A review of applications and future directions,” ISPRS Journal of Photogrammetry and Remote Sensing, vol. 114, pp. 24– 31, 2016.
[21] R. M. Haralick, K. Shanmugam, and I. Dinstein, “Textural features for image classification,” IEEE Transactions on Systems, Man, and Cybernetics, vol. 3, no. 6, pp. 610–621, 1973.
[22] R. M. Haralick and L. G. Shapiro, “Image segmentation techniques,” Computer Vision, Graphics, and Image Processing, vol. 29, no. 1, pp. 100–132, 1985.
[23] T. Blaschke, “Object based image analysis for remote sensing,” ISPRS Journal of Photogrammetry and Remote Sensing, vol. 65, no. 1, pp. 2–16, 2010.
[24] R. Azencott and C. Graffigne, “Non-supervised segmentation using multi-level Markov random fields,” in Proceedings., 11th IAPR International Conference on Pattern Recognition. Vol. III. Conference C: Image, Speech and Signal Analysis,, 1992, pp. 201–204.
[25] X. Li, H. Zhao, X. Han et al., “A survey of semantic segmentation,” arXiv preprint arXiv:1412.7062, 2014.
[26] G. Csurka, D. Larlus, F. Perronnin, and F. Meylan, “What is a good semantic segmentation model? a survey,” International Journal of Computer Vision, 2023.
[27] L. Bruzzone and S. B. Serpico, “An iterative technique for the detection of land-cover transitions in multitemporal remote-sensing images,” IEEE Transactions on Geoscience and Remote Sensing, vol. 35, no. 4, pp. 858–867, 1997.
[28] ——, “A neural-statistical approach to multitemporal and multisource remote-sensing image classification,” IEEE Transactions on Geoscience and Remote Sensing, vol. 37, no. 3, pp. 1350–1359, 1999.
[29] Z. Kato and J. Zerubia, “Markov random fields in image segmentation,” Foundations and Trends in Signal Processing, vol. 5, no. 1, pp. 1–155, 2012.
[30] S. Kirkpatrick, “Optimization by simulated annealing: Quantitative studies,” Journal of Statistical Physics, vol. 34, no. 5, pp. 975–986, 1984.
[31] Y. Boykov, O. Veksler, and R. Zabih, “Fast approximate energy minimization via graph cuts,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 23, no. 11, pp. 1222– 1239, 2001.
[32] K. Tanaka, J. Inoue, and D. Titterington, “Loopy belief propagation and probabilistic image processing,” in 2003 IEEE XIII Workshop on Neural Networks for Signal Processing (IEEE Cat. No.03TH8718), 2003, pp. 329–338.
[33] H. Derin and H. Elliott, “Modeling and segmentation of noisy and textured images using Gibbs random fields,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 9, no. 1, pp. 39–55, 1987.
[34] G. Moser and S. B. Serpico, “Combining support vector machines and Markov random fields in an integrated framework for contextual image classification,” IEEE Transactions on Geoscience and Remote Sensing, vol. 51, no. 5, pp. 2734–2752, 2013.
[35] J. Lafferty, A. McCallum, and F. Pereira, “Conditional random fields: Probabilistic models for segmenting and labeling sequence data,” in ICML, 2001.
[36] P. Krähenbühl and V. Koltun, “Efficient inference in fully connected CRFs with Gaussian edge potentials,” in NeurIPS, 2011.
[37] S. Zheng, S. Jayasumana, B. Romera-Paredes, V. Vineet, Z. Su, D. Du, C. Huang, and P. H. S. Torr, “Conditional random fields as recurrent neural networks,” in ICCV, 2015.
[38] M. Pastorino, A. Montaldo, L. Fronda, I. Hedhli, G. Moser, S. B. Serpico, and J. Zerubia, “Multisensor and multiresolution remote sensing image classification through a causal hierarchical Markov framework and decision tree ensembles,” Remote Sensing, vol. 13, no. 5, p. 849, 2021.
[39] M. Pastorino, G. Moser, S. B. Serpico, and J. Zerubia, “Semantic segmentation of remotesensing images through fully convolutional neural networks and hierarchical probabilistic graphical models,” IEEE Trans. Geosci. Remote Sens., vol. 60, pp. 1–16, 2022.
[40] ——, “CRFNet: a deep convolutional network to learn the potentials of a CRF for the semantic segmentation of remote sensing images,” IEEE Trans. Geosci. Remote Sens., 2024.
[41] A. Voisin, V. A. Krylov, G. Moser, S. B. Serpico, and J. Zerubia, “Classification of very high resolution SAR images of urban areas using copulas and texture in a hierarchical Markov random field model,” IEEE Geoscience and Remote Sensing Letters, vol. 10, no. 1, pp. 96–100, 2013.
[42] S. Dellepiane, D. D. Giusto, S. B. Serpico, and G. Vernazza, “SAR image recognition by integration of intensity and textural information,” International Journal of Remote Sensing, vol. 12, no. 9, pp. 1915–1932, 1991.
[43] J. Serra, Image Analysis and Mathematical Morphology.
[44] P. Soille, Morphological Image Analysis. Academic Press, 1982. Springer, 2003.
[45] J. A. Benediktsson, J. A. Palmason, and J. R. Sveinsson, “Classification of hyperspectral data from urban areas based on extended morphological profiles,” IEEE Transactions on Geoscience and Remote Sensing, vol. 43, no. 3, pp. 480–491, 2005.
[46] M. Dalla Mura, J. A. Benediktsson, B. Waske, and L. Bruzzone, “Morphological attribute profiles for the analysis of very high resolution images,” IEEE Transactions on Geoscience and Remote Sensing, 2010.
[47] M. Fauvel, J. A. Benediktsson, J. Chanussot, and J. R. Sveinsson, “Spectral and spatial classification of hyperspectral data using SVMs and morphological profiles,” IEEE Transactions on Geoscience and Remote Sensing, vol. 46, no. 11, pp. 3804–3814, 2008.
[48] A. Plaza, J. A. Benediktsson, J. W. Boardman, J. Brazile, L. Bruzzone, G. Camps-Valls, J. Chanussot, M. Fauvel, P. Gamba, A. Gualtieri, M. Marconcini, J. C. Tilton, and G. Trianni, “Recent advances in techniques for hyperspectral image processing,” Remote Sensing of Environment, vol. 113, pp. S110–S122, 2009.
[49] G. Camps-Valls, D. Tuia, L. Bruzzone, and J. A. Benediktsson, “Advances in hyperspectral image classification,” IEEE Signal Processing Magazine, 2014.
[50] Y. Tarabalka, J. A. Benediktsson, and J. Chanussot, “Spectral-spatial classification of hyperspectral imagery based on partitional clustering techniques,” IEEE Transactions on Geoscience and Remote Sensing, vol. 47, no. 8, pp. 2973–2987, 2009.
[51] D. Mumford and J. Shah, “Optimal approximations by piecewise smooth functions and associated variational problems,” Communications on Pure and Applied Mathematics, vol. 42, no. 5, pp. 577–685, 1989.
[52] C. Samson, L. Blanc-Feraud, G. Aubert, and J. Zerubia, “A variational model for image classification and restoration,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 22, no. 5, pp. 460–472, 2000.
[53] M. Kass, A. Witkin, and D. Terzopoulos, “Snakes: Active contour models,” International Journal of Computer Vision, vol. 1, no. 4, pp. 321–331, 1988.
[54] S. Osher and J. A. Sethian, “Fronts propagating with curvature-dependent speed: Algorithms based on Hamilton-Jacobi formulations,” Journal of Computational Physics, vol. 79, no. 1, pp. 12–49, 1988.
[55] T. F. Chan and L. A. Vese, “Active contours without edges,” IEEE Transactions on Image Processing, vol. 10, no. 2, pp. 266–277, 2001.
[56] C. Samson, L. Blanc-Feraud, G. Aubert, and J. Zerubia, “A variational model for image classification and restoration,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 22, no. 5, pp. 460–472, 2000.
[57] A. Krizhevsky, I. Sutskever, and G. E. Hinton, “ImageNet classification with deep convolutional neural networks,” in Advances in Neural Information Processing Systems, 2012.
[58] Y. Chen, Z. Lin, X. Zhao, G. Wang, and Y. Gu, “Deep learning-based classification of hyperspectral data,” IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, vol. 7, no. 6, pp. 2094–2107, 2014.
[59] M. Castelluccio, G. Poggi, C. Sansone, and L. Verdoliva, “Land use classification in remote sensing images by convolutional neural networks,” arXiv preprint arXiv:1508.00092, 2015.
[60] J. Long, E. Shelhamer, and T. Darrell, “Fully convolutional networks for semantic segmentation,” in IEEE Conference on Computer Vision and Pattern Recognition, 2015, pp. 3431–3440.
[61] M. Pastorino, G. Moser, S. B. Serpico, and J. Zerubia, “Probabilistic graphical models meet deep learning for semantic segmentation: Mathematical connections and recent developments,” IEEE Signal Processing Magazine, vol. 43, no. 2, pp. 51–63, 2026.
[62] O. Ronneberger, P. Fischer, and T. Brox, “U-Net: Convolutional networks for biomedical image segmentation,” in Medical Image Computing and Computer-Assisted Intervention, 2015, pp. 234–241.
[63] N. Audebert, B. Le Saux, and S. Lefevre, “Beyond RGB: Very high resolution urban remote sensing with multimodal deep networks,” ISPRS Journal of Photogrammetry and Remote Sensing, vol. 140, pp. 20–32, 2018.
[64] Z. Zhang, Q. Liu, and Y. Wang, “Road extraction by deep residual U-Net,” IEEE Geoscience and Remote Sensing Letters, vol. 15, no. 5, pp. 749–753, 2018.
[65] F. Isikdogan, A. C. Bovik, and P. Passalacqua, “Surface water mapping by deep learning,” IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, vol. 10, no. 11, pp. 4909–4918, 2017.
[66] K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” in IEEE Conference on Computer Vision and Pattern Recognition, 2016, pp. 770–778.
[67] L.-C. Chen, G. Papandreou, F. Schroff, and H. Adam, “Rethinking atrous convolution for semantic image segmentation,” arXiv preprint arXiv:1706.05587, 2017.
[68] L.-C. Chen, Y. Zhu, G. Papandreou, F. Schroff, and H. Adam, “Encoder-decoder with atrous separable convolution for semantic image segmentation,” in European Conference on Computer Vision, 2018, pp. 801–818.
[69] T.-Y. Lin, P. Dollár, R. Girshick, K. He, B. Hariharan, and S. Belongie, “Feature pyramid networks for object detection,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, pp. 2117–2125.
[70] L. Ma, Y. Liu, X. Zhang, Y. Ye, G. Yin, and B. A. Johnson, “Deep learning in remote sensing applications: A meta-analysis and review,” ISPRS Journal of Photogrammetry and Remote Sensing, vol. 152, pp. 166–177, 2019.
[71] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser, and I. Polosukhin, “Attention is all you need,” in Advances in Neural Information Processing Systems, 2017.
[72] A. Dosovitskiy et al., “An image is worth 16x16 words: Transformers for image recognition at scale,” in International Conference on Learning Representations, 2021.
[73] Z. Liu, Y. Lin, Y. Cao, H. Hu, Y. Wei, Z. Zhang, S. Lin, and B. Guo, “Swin transformer: Hierarchical vision transformer using shifted windows,” in IEEE International Conference on Computer Vision, 2021, pp. 10 012–10 022.
[74] E. Xie, W. Wang, Z. Yu, A. Anandkumar, J. M. Alvarez, and P. Luo, “SegFormer: Simple and efficient design for semantic segmentation with transformers,” in Advances in Neural Information Processing Systems, 2021.
[75] K. He, X. Chen, S. Xie, Y. Li, P. Dollar, and R. Girshick, “Masked autoencoders are scalable vision learners,” in IEEE Conference on Computer Vision and Pattern Recognition, 2022, pp. 16 000–16 009.
[76] C. Brown, M. Kazmierski, V. Pasquarella, W. Rucklidge, M. Samsikova, C. Zhang, E. Shelhamer, E. Lahera, O. Wiles, S. Ilyushchenko, N. Gorelick, L. Zhang, S. Alj, E. Schechter, S. Askay, O. Guinan, R. Moore, A. Boukouvalas, and P. Kohli, “AlphaEarth foundations: An embedding field model for accurate and efficient global mapping from sparse label data,” arXiv preprint arXiv:2507.22291, 2025.
[77] Y. Cong, S. Khanna, C. Meng, P. Liu, E. Rozi, Y. He, M. Burke, D. Lobell, and S. Ermon, “SatMAE: Pre-training transformers for temporal and multi-spectral satellite imagery,” in Advances in Neural Information Processing Systems, 2022.
[78] J. Jakubik et al., “Foundation models for generalist geospatial artificial intelligence,” arXiv preprint arXiv:2310.18660, 2023.
[79] D. Wang, J. Zhang, B. Du, L. Zhang, and D. Tao, “An empirical study of remote sensing pretraining,” IEEE Transactions on Geoscience and Remote Sensing, 2023.
[80] A. Kirillov, E. Mintun, N. Ravi, H. Mao, C. Rolland, L. Gustafson, T. Xiao, S. Whitehead, A. C. Berg, W.-Y. Lo, P. Dollar, and R. Girshick, “Segment anything,” in IEEE International Conference on Computer Vision, 2023, pp. 4015–4026.

Martina Pastorino

Martina Pastorino est professeure assistante à l’Université de Gênes (Italie). Ses recherches portent notamment sur les modèles stochastiques, le traitement d’images, les graphes, l’apprentissage profond, la fusion multimodale d’images et la télédétection. Elle a obtenu en 2023 un double doctorat de l’Université de Gênes et de l’Université Côte d’Azur, réalisé en collaboration avec Inria sous la direction de Gabriele Moser et Josiane Zerubia.

Gabriele Moser

Gabriele Moser a obtenu un doctorat en sciences et ingénierie spatiales à l'université de Gênes en 2005. Il est actuellemetn professeur titulaire de télécommunications à l'université de Gênes. Ses travaux de recherche portent principalement sur l'apprentissage automatique et les méthodologies de traitement d'images pour la télédétection et les applications énergétiques. Il est l'auteur ou le coauteur de plus de 200 articles publiés dans des revues scientifiques internationales, des actes de colloques et des ouvrages collectifs.

Josiane Zerubia

Josiane Zerubia est une chercheuse française. Elle est directrice de recherche à l'Inria (DRCE), Université Côte d'Azur. Elle est à l'origine d'avancées majeures dans le domaine de la télédétection en ayant eu recours à des modèles stochastiques. Elle a encadré de nombreuses équipes de recherche de l'Inria comme Ayana (2020-2024)[5], Ayin (2012-2016)[6], Ariana (1998-2011) et Pastis (1995-1997).