当前位置：首页 > news >正文

【点云分类】简述对pointnet和pointnet++的理解

news 2025/9/12 10:59:35

前言

如果你和我一样，是一名刚刚踏入三维点云处理世界的新手，你一定听说过 PointNet 和 PointNet++ 这两个大名鼎鼎的模型。它们就像是3D视觉领域的“开山鼻祖”，理解了它们，学习之路会顺畅很多。

本文中我会根据最近从B站以及博客中看的内容，梳理一下对这两个模型的理解。

为什么会有点云模型？

在深入了解PointNet之前，我们不妨先思考一个问题：为什么我们熟悉的二维图像处理方法（例如CNN，即卷积神经网络）无法直接应用于三维点云？

不妨将一张图像想象成一个整齐排列的网格，每个像素都有其固定的位置。CNN中的“卷积核”就像一个小窗口，在这个网格上以规则的步伐滑动，从而提取特征。然而，点云数据却截然不同——它更像是一把被随意抛洒在空中的沙粒，具有两个关键特性，使得传统的CNN方法难以直接适用：

无序性（Unordered）：点云是一组点的集合，其输入顺序不应影响对物体本身的描述。例如，先处理A点再处理B点，与先处理B点再处理A点，所表示的是同一个三维物体。但对于普通神经网络来说，输入顺序的改变往往会导致输出结果的巨大差异。
非规则的空间分布（Sparsity & Irregularity）：点云在三维空间中的分布是不均匀且不规则的。某些区域可能非常密集（如物体的边缘和角落），而其他区域则较为稀疏（如平坦的表面）。因此，我们无法像在图像上那样，使用固定尺寸的卷积核进行规则滑动采样。

正是为了克服这两个根本性挑战，PointNet 才得以提出并成为这一领域的里程碑。

Pointnet：直接处理无序点云的深度学习模型

1.解决了什么核心问题？

前面提到点云和二维图像最大的差别是其具有“无序性”，而pointnet的作者就提到：我需要找到一种方法，无论点的顺序怎么打乱，我最后得到的特征都是一样的。这种特性在数学上叫做“对称函数” (Symmetric Function)。PointNet最终选择了 Max-Pooling（最大池化） 作为它的核心对称函数。

对于Max-Pooling，我们都知道，他是通过选取N个特征中的“最大值”，来对这些特征图进行“瘦身”，即降维处理。那么这个最大值在真实物体中的实际意义是什么呢？

我们可以把它理解为整个点云在某个特征维度上的 “最具代表性的发言”或 “最关键的证据”。比如：在识别一把椅子时，对“椅背高度”这个特征，最大值很可能来自椅子的最高点。络中的每个特征通道（Channel）都在学习检测某种特定的模式或结构（如边缘、弧度、平面等）。Max Pooling操作汇集了所有点在该通道上的响应，并只保留最强的那个。这个最强的响应就足以代表整个物体是否具有该模式。

2.PointNet工作流程

独立特征提取：
- 输入是一堆点的坐标（一个大小为 N x 3 的矩阵，N是点的数量，3是XYZ坐标）。
- PointNet对 每一个点 单独进行特征学习，把它从3维映射到更高维度的空间（比如1024维）。你可以把它想象成给每个点“画像”，让它的信息更丰富。这一步是通过几个共享参数的多层感知机（MLP）完成的。
全局特征聚合（关键一步）：
- 现在我们有N个1024维的特征向量了。
- PointNet在这些特征向量的 每一个维度上 做一次Max-Pooling。也就是说，在第一个维度上，从N个点中选出最大值；在第二个维度上，也选出最大值……以此类推。
- 做完之后，N个点的特征就被“压”成了一个1024维的 全局特征向量。这个向量代表了整个点云的“样子”。因为Max-Pooling是无序的，所以无论输入点的顺序如何，这个全局特征都是不变的！
输出结果：

最终的全局特征向量被送入不同的输出网络以完成特定任务，比如接一个分类器判断这个点云是什么物体（桌子？椅子？），或者做一个分割器判断每个点属于物体的哪个部分。

PointNet虽然开创了直接处理点云的先河，但其方法存在一定的局限性。它通过最大池化（Max-Pooling）将所有点的信息压缩为一个全局特征向量，这种方式虽然高效，却导致模型难以捕捉局部结构信息。

举例来说，PointNet能够识别出整体对象是一辆汽车，但在细分结构层面，例如区分车轮、车灯或车窗等局部部件时，其能力较为有限。这是由于模型在聚合过程中平等对待所有点的特征，忽略了点与点之间的空间关系与局部几何上下文，从而削弱了对细节结构的感知能力。

3.模型效果

ModelNet40 上的分类结果：

Pointnet++：从全局到局部的精细化升级

为了解决其前代模型 PointNet 的一个根本性缺陷：无法有效地捕捉点云中精细的局部结构，pointnet++在2019年被提出，它借鉴了卷积神经网络（CNN）的多层感受野思想，通过分层地划分局部区域并在每个区域内部使用 PointNet 进行特征提取，从而自底向上地逐步捕获从简单到复杂、从小范围到大范围的多尺度局部特征。

1.网络结构（SA）

PointNet++网络结构如图所示，主要包含set abstraction（SA）块，分割网络中上采样的插值操作(interpolate)，其中SA由sampling layer grouping layer和pointnet layer构成，接下来依次对其进行介绍。

sampling layer

给定输入点集 P，迭代最远点采样（Farthest Point Sampling, FPS）用于从中选取一个子集 S，使得每次被选入的点 pi 都是当前剩余点中距离已选点集 S 最远的一个。具体步骤如下：

选择初始点：通常可随机选取一个点，或选择距离点云重心最远的点作为起始点 p0，此时初始候选集为 S={p0}。
定义距离：对于任意点 q∈P∖S，定义其到当前候选集 S 的距离为：d(q,S) = min∥q−s∥，（s∈S），即该点到 S 中所有点的最小欧几里得距离。
选取最远点：从剩余点中选出使得 d(q,S)最大的点 pi，将其加入候选集 S。
重复步骤2–3，直到 S 中点的数量达到预设值 K。

FPS 算法与泊松盘采样（Poisson Disk Sampling）有相似之处，但后者通常引入更多随机性，并对点间最小距离的要求更为宽松。相比之下，FPS 无需任何参数，确定性更强（尤其当初始点非随机选择时），因此在实际应用中通常更易于实现和控制。

采样层最终输出 K个采样点，这些点将用于后续的局部特征构建。

grouping layer

组合层的输入包括维度为 n×d 的原始点集和 k 个采样点。对于每一个采样点，通过 ball query 操作收集其固定半径范围内最近的 m 个邻近点（m 可能随不同采样点而变化）。与 KNN（K近邻）方法不同，ball query 通过限制空间范围，确保了每个局部区域具有相同的物理尺度，从而增强了局部特征的一致性。

对于每个采样点，其邻域点可表示为一个 m×d 的矩阵。将所有采样点对应的局部区域组合起来，即得到一个维度为 k×m×d 的三维矩阵，该矩阵聚合了多个局部点集信息。若与二维图像处理进行类比，每个局部区域类似于卷积神经网络（CNN）中的一个感受野。不同之处在于，CNN 可通过规则的滑动窗口高效处理图像，而点云中的局部结构则需通过 ball query 这类操作显式构造。