Apprentissage non supervisé de la représentation pour les nuages de points : une enquête

Abstrait

1. INTRODUCTION

2. ARRIÈRE PLAN

2.1 Concepts de base

JEUX DE DONNÉES À 3 NUAGES DE POINTS

4 ARCHITECTURES PROFONDES COMMUNES POUR L'APPRENTISSAGE EN NUAGE DE POINTS

5 APPRENTISSAGE NON SUPERVISÉ DE LA REPRÉSENTATION DES NUAGES DE POINTS (apprentissage non supervisé de la représentation des nuages ​​de points)

Comme le montre la figure 2, nous classons les méthodes existantes pour l'apprentissage non supervisé de la représentation des nuages ​​de points en quatre catégories, y compris les méthodes basées sur la génération, les méthodes basées sur le contexte, les méthodes basées sur le multimodal et les méthodes basées sur les descripteurs locaux (méthodes basées sur la génération, méthodes basées sur le contexte). méthodes basées sur des méthodes multimodales et des méthodes basées sur des descripteurs locaux.). Sur la base de cette taxonomie, nous avons classé les méthodes existantes et fournirons une revue détaillée de celles-ci comme suit.

Figure 2 : Classification des méthodes existantes d'apprentissage de la représentation non supervisée de nuages ​​de points

5.1 Méthodes basées sur la génération

La méthode d'apprentissage de représentation de nuage de points non supervisée basée sur la génération implique le processus de génération d'objets de nuage de points, qui peuvent être classés en quatre sous-catégories en fonction des tâches de pré-texte,Y compris l'auto-reconstruction du nuage de points (génère le même objet de nuage de points que l'entrée), le nuage de points GAN (génère de faux objets de nuage de points), le suréchantillonnage du nuage de points (génère un nuage de points de forme similaire mais plus dense que l'entrée) et le nuage de points achèvement (prédiction des parties manquantes de certains objets de nuage de points). La vérité de base pour la formation de ces méthodes est le nuage de points lui-même, qui ne nécessite aucune annotation humaine et peut être considéré comme une méthode d'apprentissage non supervisée. Les méthodes basées sur la génération sont répertoriées dans le tableau 2.

Tableau 2 : Présentation des méthodes d'apprentissage de représentation non supervisée basées sur des nuages ​​de points générés

5.1.1 Apprentissage par auto-reconstruction de nuages ​​de points

L'une des méthodes non supervisées les plus courantes pour apprendre les représentations de nuages ​​de points est l'auto-reconstruction d'objets 3D, qui encode des échantillons de nuages ​​de points en vecteurs de représentation et les décode en retour aux données d'entrée d'origine. Au cours de ce processus, les informations de forme et la structure sémantique sont extraites et codées dans la représentation. Puisqu'aucune annotation humaine n'est impliquée, cela appartient à l'apprentissage non supervisé. Un modèle typique et le plus couramment utilisé est Autoencoder [69]. Comme le montre la figure 11, il se compose d'un réseau de codeurs et d'un réseau de décodeurs. L'encodeur comprime et encode l'objet nuage de points dans un vecteur d'incorporation de faible dimension nommé codeword [56] (codeword). Il est ensuite décodé dans l'espace 3D et la sortie doit être identique à l'entrée. Les auto-encodeurs apprennent les représentations à dimensionnalité réduite en entraînant le réseau à ignorer les données sans importance ("bruit") en essayant de régénérer l'entrée de l'encodage pour valider et affiner l'encodage [70].

Une série de méthodes non supervisées basées sur l'auto-reconstruction sont proposées :


Pour extraire davantage les caractéristiques géométriques locales :

5.1.2 Apprentissage par nuage de points GAN

5.1.3 Apprentissage par suréchantillonnage de nuages ​​de points

Comme le montre la figure 13, étant donné un ensemble de points, la tâche de suréchantillonnage du nuage de points vise à générer un ensemble de points plus dense, ce qui nécessite un réseau de nuages ​​de points profonds pour apprendre la structure géométrique de base des formes 3D. Aucune annotation humaine n'est impliquée, cela appartient à l'apprentissage non supervisé.

Travaux connexes:

5.1.4 Apprentissage par complétion de nuages ​​de points

L'achèvement du nuage de points consiste à prédire les pièces manquantes en fonction des objets de nuage de points 3D restants. Le réseau doit apprendre la géométrie interne et la connaissance sémantique des objets afin de prédire correctement les parties manquantes, qui sont ensuite transférées aux tâches en aval. Ces méthodes appartiennent à l'apprentissage non supervisé car les tâches de complétion de nuages ​​de points ne nécessitent pas d'annotation humaine.

Travaux connexes:


Récemment, la récupération des parties manquantes à partir d'entrées incomplètes en tant que tâche de substitution (tâche de pré-texte) s'est avérée très efficace en PNL [5], [6] et en vision 2D [10], tandis que le nuage de points non supervisé Il existe peu de recherches sur apprentissage. Nous pensons qu'il s'agit d'une direction potentielle et prometteuse pour les recherches futures.. (En raison de la petite quantité de données ?)

5.1.5 Discussion

L'apprentissage non supervisé de nuages ​​de points basé sur des tâches génératives est une direction de recherche majeure avec une longue histoire. Les méthodes existantes se concentrent principalement sur l'apprentissage à partir de nuages ​​de points au niveau de l'objet, tandis que peu d'études sur les données au niveau de la scène limitent l'application de l'apprentissage non supervisé. En revanche, les méthodes d'apprentissage non supervisé basées sur la génération ont remporté un grand succès en PNL [6], [32] et en vision 2D [10]. À cette fin, nous pensons qu'il y a beaucoup de potentiel dans ce domaine.

5.2 Méthodes basées sur le contexte

Une autre classe de méthodes d'apprentissage de nuages ​​de points non supervisés sont les méthodes basées sur le contexte. Contrairement aux méthodes basées sur la génération qui apprennent en générant des nuages ​​de points, ces méthodes utilisent des tâches de pré-texte discriminantes pour apprendre différents contextes de nuages ​​de points, y compris la similarité de contexte, les structures de
contexte spatial et les structures de contexte temporel). Le tableau 3 résume une série de méthodes.

5.2.1 Apprentissage avec similarité de contexte

Cette approche forme un apprentissage non supervisé en explorant les similitudes contextuelles potentielles entre les échantillons. Une méthode typique est l'apprentissage contrastif. Ces dernières années, l'apprentissage contrastif a été largement utilisé en 2D [7], [8], [104] et 3D [3], [46], [96] apprentissage de représentation non supervisé. a montré d'excellentes performances . La figure 15 montre un exemple d'apprentissage contrastif par instance :

travail connexe :

5.2.2 Apprentissage avec structure de contexte spatial

5.2.3 Apprentissage avec structure de contexte temporel

5.2.4 Discussion

5.3 Méthodes multimodales

5.4 Méthodes basées sur des descripteurs locaux

6 PERFORMANCES DE RÉFÉRENCE

6.1 Tâches au niveau de l'objet

6.1.1 Classement des objets

Backbone est principalement PointNet, PointNet++, DGCNN, RSCNN, donc ces réseaux doivent être maîtrisés

6.1.2 Segmentation des parties d'objet

6.2 Tâches au niveau de la scène

7 ORIENTATION FUTURE

8 CONCLUSION