---

论文：https://arxiv.org/pdf/2403.15624
来源：BIGAI和清华大学

---

摘要

  开放词汇的三维场景理解是计算机视觉中的一个重大挑战，在具体化代理和增强现实系统中有着广泛的应用。现有的方法采用神经渲染方法作为三维表示，联合优化颜色和语义特征，同时实现渲染和场景理解。本文介绍了一种基于三维高斯溅射的开放词汇场景理解方法语义高斯。我们的关键思想是 将知识从二维预训练模型提取为三维高斯模型 。与现有的方法不同，我们设计了一种通用的投影方法，将预先训练好的图像编码器映射到一个新的三维高斯的语义component ，这是基于空间关系，不需要额外的训练。我们 进一步建立了一个三维语义网络，直接从原始的三维高斯数据中预测语义成分 ，以进行快速推理。 实验在ScanNet segmentation和LERF目标定位上做了定量对比。此外还探索了语义高斯算法的一些应用，包括对象部分分割、实例分割、场景编辑和时空分割，在二维和三维基线上具有更好的定性结果

  

  

---

一、引言

  开放词汇表的三维场景理解是计算机视觉中的一项重要任务。给定一个3D场景，其目标是用自由形式的自然语言来理解和解释3D场景，也就是说，而不受限于一组预定义的对象类别。允许开放词汇表场景查询使机器能够更有效地与环境交互，促进诸如对象识别、语义场景重建和在复杂多样的环境中导航等任务。开放词汇3D场景理解在各种现实应用中具有重要意义，如机器人技术和增强现实。

  多视图图像是3D场景最直接的表示，但允许开放词汇理解通常涉及2D视觉语言模型，难以在不同视图的一致性，可能是由于缺乏视觉几何知识；点云很流行和研究，但点云固有的稀疏性限制了开放词汇场景理解在上的应用

  以往方法[4]、[5]、[8]-[16]的一个主要分支是采用NeRF或3DGS等神经渲染方法作为3D表示，共同优化颜色成分和语义特征，实现任意2D视图的高质量渲染和3D场景理解。语义知识通常是从开放词汇表的二维基础模型中提取出来的，如CLIP 或LSeg ，它们在训练视图上预测的输出在优化过程中充当了弱监督。

  本文提出Semantic Gaussians，基于三维高斯溅射的优点的开放词汇表三维场景理解的方法。核心思想是将预先训练好的二维编码器中提取成三维高斯，从而为每个高斯点分配一个语义分量。为了实现这一点，我们建立了二维像素和三维高斯点之间的对应关系，并提出了一个通用的投影框架来将二维像素的语义特征映射到每个三维高斯点上，可以利用任意预先训练过的2D模型，如OpenSeg 、CLIP 、VLPart 等，在2D RGB图像上生成像素级的语义特征，不需要额外训练来将语义组件注入到三维高斯模型中，允许有效的开放词汇表场景查询。

  除了投影，还引入了一个三维语义网络MinkowskiNet[21，一个三维稀疏卷积网络]，它直接从原始三维高斯中预测开放词汇语义成分。网络以原始的RGB高斯数据作为输入，并由上述投影方法得到的高斯数据的语义成分进行监督。因此，我们可以简单地运行这个网络来获得语义组件，从而实现更快的推理。该网络利用几何属性来理解看不见的场景，提高了我们的方法超越二维投影的通用性和鲁棒性。需要注意的是，三维语义网络的预测可以与投影特征相结合，进一步提高高斯中语义组件的质量和开放词汇表场景理解性能。

  

二、主要方法

1.3D Gaussian Splatting

  本文采用三维3D Gaussian Splatting作为三维场景的表示，其以可区分的方式从任意视点渲染图像，从而有效地利用各种二维基础模型的知识。具体来说，我们通过使用3DGS从指定的视点渲染二维语义图像，来实现场景理解

  3DGS由一组可学习的三维高斯点组成，其中每个点都有一个三维坐标µ表示其位置，一个协方差矩阵Σ表示其形状，球面谐波参数c代表其颜色，一个不透明度值α代表其透明度。3DGS可以由多视图图像构建，并可以利用来自运动结构（SfM）点云[48]的信息进行初始化，从而获得更好的渲染质量和几何结构。

  3DGS使用基于点的$\alpha$混合来计算2维图像上的像素值。每个像素C的值通过沿射线的体积渲染给出：

将三维高斯分布投影到某个二维平面上，从相机的角度计算协方差矩阵${\Sigma }^{\prime }$的方法为(W是world-to-camera变换矩阵，J是投影变换的仿射近似的雅可比矩阵)：

其中。如果我们跳过${\Sigma }^{\prime }$的第三行和列，我们可以得到二维方差矩阵。为了保证正半定性，将协方差矩阵Σ分解为旋转矩阵$R$和缩放矩阵$S$：

  3DGS可以看作是一个具有附加特性的特殊点云，因此具有点云的一些特性。一个直观的思想是将基于空间关系的语义信息投射到相应的高斯点上，而不是通过可微栅格化和渲染。 在渲染语义映射时，如果不考虑复杂的光照条件，只考虑几何位置的对应关系就足够了 。在此基础上，我们提出了语义高斯算法来实现多功能场景理解。

2.其他方法

2.1 Gaussian Grouping（ECCV 2024）

  保留了高斯模型的所有属性（如它们的数量、颜色、不透明度和大小），同时添加了新的身份编码参数（类似于颜色，是一个长度为16的可学习的、紧凑的向量，足以以计算效率区分场景中的不同对象/部分），并使用了一个训练有素的zero-shot tracker 来传播和关联mask。使得每个高斯分布被分配给其在3D场景中所表示的实例或东西。

  二维ID损失。为了优化ID编码，将ID 向量以可微的方式渲染为二维图像。从原始GS中提取可微的三维高斯渲染器，并将渲染过程类似于gs中的颜色（SH系数）优化。  GS采用神经点的${\alpha }^{\prime }$ 渲染[18,19]，进行深度]排序和混合N个与像素重叠的有序点，计算所有高斯分布对单个位置像素的影响。将2D特性 $E_{id}$作为输入，使用一个线性层$f$，将特征维数恢复到K+1，然后取 $softmax$($f$($E$