Une brève lecture des papiers d'extraction de route basés sur des images de télédétection

Préface

Ce billet de blog contient des méthodes d'extraction de route inhabituelles. Le modèle courant principal se concentre sur l'extraction des revêtements routiers, c'est-à-dire ne se concentre que sur l'exactitude de l'IOU, mais mentionne rarement la connectivité et l'intégrité de la route.

2017

DeepRoadMapper

Résumé Le
dessin de cartes routières est essentiel pour des applications telles que la conduite autonome et l'urbanisme. La plupart des méthodes industrielles se concentrent sur l'utilisation de capteurs coûteux installés au-dessus de la flotte. Lorsque vous utilisez des utilisateurs dans la boucle, cela conduira à des estimations très précises. Cependant, ces solutions sont très coûteuses et ont très peu de couverture. Au contraire, dans cet article, nous proposons une méthode pour estimer la topologie routière directement à partir d'images aériennes. Cela nous fournit une solution abordable et de grande envergure. Afin d'atteindre cet objectif, nous utilisons les derniers développements de l'apprentissage profond pour effectuer une segmentation initiale des images aériennes. Sur cette base, nous proposons un algorithme pour attribuer la raison des connexions manquantes dans la topologie routière extraite au problème de chemin le plus court pouvant être résolu efficacement. Nous avons démontré l'efficacité de notre méthode dans le jeu de données difficile de la ville de Toronto et avons montré une amélioration très significative par rapport à l'ensemble de données de pointe.

2018

RoadTracer

https://github.com/mitroadmaps/roadtracer
blog csdn

Résumé

Le tracé du réseau routier est actuellement coûteux et exigeant en main-d'œuvre. Les images aériennes à haute résolution offrent un moyen prometteur de déduire automatiquement les réseaux routiers. Des travaux antérieurs utilisaient des réseaux de neurones convolutifs (CNN) pour détecter les pixels appartenant à une route (segmentation), puis utilisaient des heuristiques de post-traitement complexes pour déduire la connectivité des graphes. Nous montrons que ces méthodes de segmentation ont un taux d'erreur élevé car la sortie CNN bruyante est difficile à corriger. Cet article propose une nouvelle méthode pour construire automatiquement une carte précise du réseau routier à partir d'images aériennes-tracker. Le tracker routier utilise un processus de recherche itérative guidé par une fonction de décision basée sur CNN pour dériver directement une carte du réseau routier à partir de la sortie de CNN. Nous avons comparé notre méthode avec les méthodes de segmentation de 15 villes et avons constaté qu'avec un taux d'erreur de 5%, RoadTracer capturait correctement plus de 45% des intersections dans ces villes.

Contribution de l'article

1) La méthode RoadTracer est proposée, qui utilise la méthode de construction de graphe itératif pour détecter le réseau routier dans l'image. À chaque itération, le réseau de décision CNN est utilisé pour déterminer s'il faut ajouter une partie du réseau routier à la route déjà créée réseau. Cette méthode peut éviter des procédures de post-traitement complexes, améliorant ainsi la précision de la détection du réseau routier;
2) Un réseau de décision CNN d'apprentissage par renforcement complet est proposé, qui utilise l'étiquetage dynamique pour former le réseau CNN, c'est-à-dire générer simultanément des données de formation et de la formation. Réseau, puis améliorer la précision de la fonction de décision CNN.

2019

RoadNet

code: https://github.com/yhlleo/RoadNet

Contribution de l'article

• Cet article propose un réseau routier CNN de bout en bout de pixels multi-tâches pour prédire la surface de la route, le bord et la ligne médiane en même temps. Le réseau routier apprend automatiquement les caractéristiques multi-échelles et multi-niveaux, et est formé dans son ensemble dans un réseau en cascade spécialement conçu, qui peut gérer des routes de scènes et d'échelles diverses.
• Les sous-tâches ci-dessus sont pertinentes dans la phase d'apprentissage, où la prédiction de la segmentation de la route est appliquée à la détection des bords de route et à l'extraction de l'axe de la route. D'une part, une segmentation fine de la route est propice à la détection des bords de route et à l'extraction de l'axe de la route, ce qui peut être considéré comme une initialisation idéale avec quelques arrière-plans complexes. D'autre part, la ligne de bord / centre précise de la route affine la limite de segmentation, en particulier le bord de la route.
• L'architecture et la fonction de perte du réseau proposé sont conçues en détail. Par conséquent, un modèle bien formé peut produire des bords / axes de route avec environ une largeur de pixel unique sans avoir besoin d'un post-traitement de suppression non maximale (NMS).
• Il fournit une méthode simple d'interaction avec l'utilisateur pour résoudre des zones difficiles avec des ombres et des occlusions sur la route.C'est le premier travail dans ce domaine.
• Nous avons développé une méthode hybride de recadrage et bilinéaire pour traiter de grandes images VHR, qui ne peuvent pas être entraînées ou testées dans leur ensemble avec des ressources GPU limitées.
• Un ensemble de données de référence difficiles pour ce type de multitâche a été publié, qui contenait des images et les cartes de référence correspondantes. La résolution spatiale de chaque pixel était de 0,21 mètre, couvrant 21 zones urbaines typiques avec des arrière-plans complexes.

Format de données: résultats de l'

architecture du réseau

RoadTagger

https://github.com/mitroadmaps/roadtagger

résumé

Il est difficile de déduire les attributs de la route à partir d'images satellites, comme le nombre de voies et le type de route. Généralement, en raison de la corrélation spatiale entre l'occlusion dans l'image satellite et les attributs de la route, seulement lorsque les sections éloignées de la route sont considérées, les attributs de la route peuvent être évidents à une position sur la route. Par conséquent, afin de déduire les attributs de la route de manière robuste, le modèle doit intégrer des informations dispersées et capturer la corrélation spatiale des caractéristiques le long de l'itinéraire. Les solutions existantes qui reposent sur des classificateurs d'images ne peuvent pas capturer cette corrélation, ce qui entraîne une précision médiocre. Nous avons constaté que cet échec est causé par une limitation de base - le champ d'acceptation effective limité du classificateur d'images.

Pour surmonter cette limitation, nous avons proposé RoadTagger1, une architecture de bout en bout qui combine des réseaux de neurones convolutifs (CNN) et des réseaux de neurones graphiques (GNN) pour déduire les attributs de la route. L'utilisation de GNN permet de diffuser des informations sur la carte du réseau routier et élimine la limitation du champ de réception du classificateur d'images. Nous avons évalué Road Tagger sur un vaste ensemble de données du monde réel couvrant 688 kilomètres carrés dans 20 villes des États-Unis et avons synthétisé un ensemble de données. Dans l'évaluation, RoadTagger améliore la précision de l'inférence basée sur le classificateur d'images CNN. De plus, Road Tagger a une grande robustesse aux interférences dans les images satellites, et peut apprendre des règles inductives complexes pour recueillir des informations dispersées sur le réseau routier.

méthode

Nous proposons RoadTagger, un cadre d'inférence d'attributs routiers de bout en bout, qui utilise une nouvelle combinaison de réseau neuronal convolutif (CNN) et de réseau neuronal graphique (GNN) (Wu et al.) Pour éliminer cet obstacle. 2019). Il prend en entrée des images satellites et des cartes du réseau routier. Pour chaque sommet du graphique du réseau routier, RoadTagger utilise CNN pour dériver le vecteur d'entité à partir de la fenêtre d'image satellite autour du sommet. Ensuite, GNN est utilisé pour propager les informations de chaque sommet le long du graphe du réseau routier. Enfin, il génère des prédictions d'attributs de route à chaque sommet. La diffusion GNN des informations le long de la carte du réseau routier élimine la limitation effective du champ de perception du classificateur d'images local. La formation de bout en bout du modèle conjoint CNN et GNN est la clé du succès de cette méthode: RoadTagger n'utilise pas CNN pour sélectionner des fonctionnalités; au lieu de cela, en rétropropageant à partir de la sortie de GNN, les barrières d'information qui limitent la publication précédente -les méthodes de traitement sont éliminées.

2020

DeepWindow

https://github.com/rob-lian/DeepWindow/tree/master/ManualPointPoint d'
innovation d'échantillonnage du papier

• Un modèle d'estimation du centre de la route basé sur la réparation est conçu et formé par des annotations de points. Le modèle prédit les points du centre de la route dans des parcelles locales.
• Un algorithme d'estimation de la direction de la route est proposé pour améliorer l'automatisation du processus de suivi. L'algorithme estime la direction de la route sur la base du spectre du bord de la dent canine.
• Un algorithme d'ensemencement automatique est réalisé, qui combine le processus de suivi avec l'algorithme d'estimation de la direction de la route pour réaliser une automatisation complète.
• Un vaste ensemble de données complexes de parcelles routières, des points centraux de route échantillonnés manuellement, utilisés pour l'extraction de routes, sera utilisé publiquement pour des recherches supplémentaires sur l'apprentissage faiblement supervisé.

Flux de méthode

1. Extraction du point central de la route
2. Rechercher et suivre automatiquement les graines
3. Estimation de la direction de la route
4. Suivi itératif de la topologie

VecRoad

https://mmcheng.net/vecroad/
Résumé
Par rapport à la collecte sur le terrain, l'extraction automatique de cartes routières à partir d'images aériennes est plus efficace et moins coûteuse. Ceci peut être réalisé par une étape de post-traitement de vectorisation de la segmentation de la route prédite par CNN, mais une prédiction imparfaite se traduira par une moindre connectivité de la feuille de route. D'autre part, la prochaine étape de l'exploration itérative peut construire des cartes routières avec une meilleure connectivité routière, mais se concentre généralement uniquement sur les informations locales et ne peut pas fournir un alignement précis avec des routes réelles. Afin d'améliorer la connectivité routière tout en maintenant un alignement précis entre la feuille de route et la route réelle, nous proposons un schéma d'exploration de carte itérative basé sur des points, qui utilise des indications de segmentation et des étapes flexibles. Dans notre méthode, nous représentons la position du mouvement suivant sous la forme d'un point, qui unifie la représentation de plusieurs contraintes, telles que la direction et la longueur de pas de chaque pas. Détectez conjointement des informations telles que la segmentation de la route et les intersections de route pour guider l'étape suivante et obtenir un meilleur alignement de la route. Nous prouvons que la méthode que nous proposons présente une amélioration considérable par rapport aux méthodes d'extraction de carte routière de pointe en termes de mesure f et d'indicateurs de connectivité routière sur des ensembles de données publiques.

Innovation

• Une méthode de détection d'étape itérative basée sur des points, utilisant une technologie de détection d'étape flexible, peut localiser avec précision des points non triviaux pendant le processus de détection.
• Sur la base des conseils d'exploration d'indices segmentés, des cartes routières avec une bonne connectivité et une bonne précision d'alignement sont générées.

méthode

Vue d'ensemble de l' exploration itérative Exploration itérative basée sur des

points

Extraction simultanée de la surface de la route et de la ligne médiane

https://github.com/astro-ck/Road-Extraction

Résumé

Des feuilles de route précises et à jour sont très importantes dans un large éventail d'applications. Malheureusement, l'extraction automatique des routes à partir d'images de télédétection à haute résolution est toujours difficile en raison de l'occlusion des arbres et des bâtiments, de la discernabilité des routes et de l'arrière-plan complexe. Afin de résoudre ces problèmes, en particulier la connectivité routière et l'exhaustivité, cet article présente un nouveau cadre à plusieurs niveaux basé sur l'apprentissage en profondeur pour extraire avec précision la surface de la route et l'axe de la route en même temps. Notre cadre comprend trois étapes: la segmentation améliorée, le suivi des points de départ multiples et la fusion. La segmentation de route initiale est obtenue avec un réseau convolutif complet (FCN), puis un autre FCN plus léger est appliqué plusieurs fois pour améliorer la précision et la connectivité de la segmentation initiale. Dans plusieurs étapes de suivi du point de départ, le point de départ est automatiquement généré en extrayant les intersections routières des résultats de segmentation, puis le réseau routier continu et complet est suivi via la stratégie de recherche itérative intégrée dans le réseau neuronal convolutif (CNN). L'étape de fusion regroupe les informations sémantiques et topologiques du réseau routier en combinant les résultats de segmentation et de suivi pour produire une segmentation de route finale et raffinée et une cartographie de l'axe central. Nous avons évalué notre méthode avec trois ensembles de données, qui couvrent diverses conditions routières dans plus de 40 villes dans le monde. Les résultats montrent que notre cadre proposé a des performances supérieures. Plus précisément, pour l'indice de connectivité pour la segmentation des routes et l'indice d'intégrité pour l'extraction de la ligne médiane, les performances de notre méthode dépassent celles des autres méthodes de 7% et 40%, respectivement.

Contribution de l'article

• Un cadre multi-niveaux pour extraire simultanément la surface de la route et la ligne médiane à partir d'images de télédétection est proposé. Ce cadre combine les avantages de la segmentation et du suivi basés sur CNN, et rassemble les informations sémantiques et topologiques du réseau routier. Pour autant que nous le sachions, il s'agit du premier cadre intégré pour la segmentation des routes et le suivi des axes en même temps.
• La stratégie Boosting est introduite pour améliorer les résultats de segmentation des routes en appliquant plusieurs réseaux de segmentation. Le réseau apprend progressivement des cas d'échec de la segmentation précédente pour connecter les segments cassés dans le masque initial. De plus, une structure de codec novatrice et légère a été conçue pour faciliter la segmentation.
• Un algorithme de recherche itérative amélioré basé sur la fonction de décision CNN est introduit dans le suivi de la ligne médiane à partir de plusieurs intersections. L'algorithme est automatiquement dérivé de la carte de segmentation de route prédite par la segmentation Boost, ce qui prouve l'automatisation de la cartographie de la ligne médiane et la complétude a été améliorée.
• Enfin, la méthode de fusion empirique est utilisée pour fusionner les résultats de segmentation de l'étape précédente avec la carte de la ligne médiane pour obtenir la surface de la route et la ligne médiane finales raffinées.

Sat2Graph

code: https://github.com/songtaohe/Sat2Graph

Résumé La
déduction de cartes routières à partir d'images satellites est une tâche complexe de vision par ordinateur. Les solutions a priori sont divisées en deux catégories: (1) la méthode de segmentation basée sur les pixels, qui prédit si chaque pixel est sur la route; (2) la méthode basée sur les graphiques, qui prédit de manière itérative la feuille de route. Nous avons constaté que ces deux méthodes ont des avantages complémentaires, mais souffrent également de leurs propres limitations inhérentes.

Dans cet article, nous proposons une nouvelle méthode Sat2Graph, qui combine les avantages des deux catégories précédentes dans un cadre unifié. L'idée clé de Sat2Graph est un nouveau schéma de codage, Graph Tensor Encoding (GTE), qui encode les graphiques routiers en représentations tensorielles. GTE peut entraîner un modèle simple, peu fréquent et supervisé pour prédire un riche ensemble de fonctionnalités qui capturent directement la structure graphique de l'image. Nous utilisons deux grands ensembles de données pour évaluer Sat2Graph. Nous avons constaté que Sat2Graph surpassait les méthodes existantes dans deux métriques largement utilisées, TOPO et APLS. De plus, bien que les travaux antérieurs ne fassent que déduire des cartes routières en plan, notre méthode est capable de déduire des routes empilées (telles que des viaducs) et est robuste pour ce faire.

Contributions de l'article
En plus du codage de réseau basé sur des tenseurs, cet article a également apporté deux contributions:

• Dans l'évaluation d'un vaste ensemble de données urbaines couvrant une superficie de 720 kilomètres carrés et d'un ensemble de données routières de réseau spatial populaire dans 20 villes américaines, Sat2Graph a surpassé les méthodes les plus avancées dans la mesure de la similarité de terrain largement utilisée.
• Sat2Graph peut naturellement déduire les routes empilées, et les méthodes précédentes ne peuvent pas gérer ces routes.