详解3DGS

4 可微分的3D高斯 splatting

核心目标与表示选择

我们的目标是从无法线的稀疏SfM点出发，优化出一种能够实现高质量新视角合成的场景表示。为此，我们选择3D高斯作为基本图元，它兼具可微分的体表示特性和非结构化的显式表示优势，既能支持优化过程，又能实现快速渲染。

高斯参数与投影模型

1. 3D高斯定义
   高斯由世界空间中的均值（位置） $\mu$和协方差矩阵 $\sum$定义，其概率密度函数为：

$$G(x)=e^{-\frac{1}{2}(x-\mu {)}^T{\sum }^{-1}(x-\mu )}$$

其中，协方差矩阵 $\sum$描述了高斯的形状和方向，通过缩放矩阵 $S$和旋转矩阵 $R$分解为：
$$\sum =RS{S}^T{R}^T$$
这种分解方式将协方差的优化转化为对缩放向量 $s$（3个自由度）和旋转四元数 $q$（4个自由度，归一化后3个自由度）的优化，避免了直接优化协方差矩阵时的正半定性约束问题。

2. 投影到2D图像空间
   通过相机变换 $V$和投影雅可比矩阵 $J$，将3D高斯投影为图像空间中的2D椭圆。投影后的协方差矩阵 ${\sum }^{\prime }$为：

$$\sum ^{\prime }=JV\sum V^T{J}^T$$

取其左上角2x2子矩阵，即可得到与传统基于点的方法（如使用法线的平面点）等价的2D方差矩阵，用于渲染时的 $\alpha$混合。

优化与梯度计算

1. 参数优化
   优化参数包括高斯的位置、缩放、旋转、不透明度 $\alpha$和球面调和函数（SH）系数（用于表示颜色的视图相关性）。通过随机梯度下降（SGD）最小化 $L_1$损失和D-SSIM损失的加权和：

$$\mathcal{L}=(1-\lambda ){\mathcal{L}}_{L1}+\lambda {\mathcal{L}}_{D\text{-}SSIM}(\lambda =0.2)$$

采用指数衰减学习率调度，并通过 sigmoid 和指数激活函数约束参数范围。

2. 显式梯度推导
   为避免自动微分的开销，手动推导了缩放 $s$和旋转 $q$的梯度。通过链式法则，将协方差矩阵的梯度分解为对旋转矩阵和缩放矩阵的导数，利用四元数与旋转矩阵的转换关系，推导出各参数的梯度表达式。

优势与应用

• 灵活性与紧凑性：3D高斯的各向异性特性使其能自适应复杂几何结构（如薄结构、曲面），通过优化协方差矩阵，仅需1-5百万个高斯即可精确表示场景，远少于传统点云方法。
• 可微分渲染：投影和渲染过程完全可微分，支持端到端优化，结合后续的自适应密度控制和快速光栅化，实现了高质量、实时的新视角合成。

与其他方法的对比

相较于基于神经网络的NeRF方法（如Mip-NeRF360），3D高斯 splatting无需密集采样和体积渲染，通过显式几何表示和GPU加速的光栅化，显著提升了训练和渲染速度；相较于传统点云方法，其可微分特性和各向异性建模能力显著提高了重建质量。

5 3D高斯的自适应密度控制优化

一、核心目标与优化框架

目标：通过优化3D高斯的参数（位置、协方差、不透明度、颜色）和动态调整高斯密度，生成精确的场景表示，实现高质量新视角合成。
输入：SfM（结构从运动）生成的稀疏点云、多视图图像。
框架：

1. 初始化：从SfM点云创建初始3D高斯集合，每个高斯由位置、各向同性协方差、初始不透明度和颜色（球面调和函数系数）定义。
2. 迭代优化：通过可微分渲染将高斯投影为图像，与真实图像对比计算损失（L1 + D-SSIM），使用随机梯度下降（SGD）更新参数。
3. 自适应密度控制：在优化过程中动态添加或删除高斯，平衡模型复杂度与重建精度。

二、优化参数与损失函数

1. 优化参数：
   • 几何参数：3D位置 (\mathbf{p})、各向异性协方差（缩放 (\mathbf{s})、旋转 (\mathbf{q})）、不透明度 (\alpha)，
   • 外观参数：球面调和函数（SH）系数，用于表示视角相关的颜色（如漫反射、高光）。
2. 损失函数：
   [
   \mathcal{L} = (1-\lambda)\mathcal{L}{\text{L1}} + \lambda\mathcal{L}{\text{D-SSIM}} \quad (\lambda=0.2)
   ]
   • (\mathcal{L}_{\text{L1}}) 衡量渲染图像与真实图像的像素级差异，
   • (\mathcal{L}_{\text{D-SSIM}}) 衡量结构相似性，提升感知质量。
3. 激活函数与约束：
   • 用 sigmoid 约束 (\alpha \in [0, 1))，
   • 用 指数函数 约束协方差缩放因子为正，
   • 四元数 (\mathbf{q}) 归一化为单位四元数，确保旋转矩阵有效。

三、自适应密度控制：克隆与分裂策略

为解决场景中欠重建（几何缺失）和过重建（几何冗余）问题，通过梯度分析动态调整高斯密度：

1. 欠重建区域（小高斯，高梯度）：
   • 检测：若高斯在视图空间的位置梯度均值超过阈值 (\tau_{\text{pos}}=0.0002)，且协方差规模较小（低于阈值 (\tau_S)），视为欠重建。
   • 操作：克隆高斯，复制当前高斯并沿梯度方向移动，填补几何缺口（图4上排）。
2. 过重建区域（大高斯，高方差）：
   • 检测：若高斯协方差规模较大（高于 (\tau_S)），且覆盖区域细节复杂，视为过重建。
   • 操作：分裂高斯，将一个大高斯拆分为两个小高斯，缩放因子除以 (\phi=1.6)，并在原高斯的概率密度函数（PDF）上采样初始化新位置（图4下排）。
3. 剪枝操作：
   • 删除不透明度 (\alpha < \epsilon_{\alpha})（如 (\epsilon_{\alpha}=1e-4)）的透明高斯，
   • 删除世界空间中尺寸过大或视图空间中投影面积过大的高斯，避免“飞点”和冗余计算。

四、优化流程与关键技术

1. 分辨率热身（Warm-up）：
   从低分辨率（原图1/4）开始优化，每250-500次迭代逐步提升至全分辨率，避免高分辨率下的优化震荡。
2. 球面调和函数分步优化：
   初始仅优化SH零阶系数（漫反射颜色），每1000次迭代添加高一阶系数，避免因视角覆盖不足导致的颜色失真。
3. 快速可微分渲染：
   • 基于瓦片（Tile-based）的光栅化器，将屏幕划分为16×16像素块，对每个瓦片内的高斯按深度排序，
   • 支持各向异性高斯的 (\alpha) 混合，通过Radix排序和共享内存加速，确保优化阶段的渲染速度（135 FPS，文档表1）。

五、效果与优势

1. 紧凑表示：通过自适应密度控制，仅需1-5百万个高斯即可精确表示复杂场景，远少于传统点云方法（如Point-NeRF需数千万点）。
2. 几何适应性：各向异性高斯可拟合薄结构（如叶片）、曲面和远距离细节，如图3所示，优化后的高斯通过协方差调整呈现椭球形状，贴合真实几何。
3. 训练效率：在Mip-NeRF360数据集上，30K次迭代仅需约51分钟，远快于Mip-NeRF360的48小时，且PSNR达25.2，超越InstantNGP和Plenoxels（文档图1、表1）。

六、局限性与改进方向

1. 当前局限：
   • 极端视角或低重叠区域可能产生“飞高斯”或模糊（图12），
   • 大规模场景（如城市）需调整位置学习率，避免优化发散。
2. 未来优化：
   • 引入正则化约束高斯形状，减少“斑点状” artifacts，
   • 结合压缩技术（如点云编码）降低内存消耗，
   • 支持动态场景的在线优化。

总结

自适应密度控制优化是3D高斯 splatting 的核心创新之一，通过“优化-密度控制-渲染”的闭环，实现了几何细节的自适应建模与计算资源的高效分配。该方法在保持高重建质量的同时，将训练时间和渲染延迟压缩至实时水平，为大规模场景的实时神经渲染提供了新范式（文档结论部分）。

6 高斯的快速可微分光栅化器

一、核心目标与设计原则

目标：实现3D高斯的实时渲染和可微分优化，支持高分辨率（如1080p）下的高质量新视角合成。
设计原则：

1. 利用GPU并行计算：通过瓦片划分（Tile-based）和快速排序，充分利用GPU的并行处理能力，
2. 精确性与效率平衡：在保证渲染质量的前提下，避免传统体积渲染的高采样成本，
3. 全流程可微分：确保投影、排序、混合过程的梯度可反向传播，支持端到端优化。

二、关键技术组件

1. 瓦片划分与视锥体剔除

• 屏幕划分：将图像分为16×16像素的瓦片（Tile），每个瓦片独立处理，减少内存访问冲突，
• 视锥体剔除：对每个高斯进行视锥体检测，仅保留与视图 frustum 相交（99%置信区间）的高斯，剔除远距离或视角外的无效图元，
• 保护带（Guard Band）：拒绝近平面附近且严重偏离视图 frustum 的高斯，避免投影时的数值不稳定。

2. 基于深度的快速排序

• 键值生成：为每个高斯生成排序键，包含视图空间深度和瓦片ID，其中深度值用于确定前后顺序，瓦片ID用于分组，
• 基数排序（Radix Sort）：利用GPU的并行基数排序算法，对所有高斯进行全局排序，确保同瓦片内的高斯按深度有序（近→远），
• 瓦片范围标识：排序后，为每个瓦片标记高斯列表的起始和结束索引，便于后续分块渲染（如图6中的算法2）。

3. 各向异性高斯渲染与α混合

• 投影到2D椭圆：根据3D协方差矩阵，将高斯投影为2D图像空间中的各向异性椭圆，椭圆的形状由协方差矩阵的特征值和特征向量决定，
• α混合公式：按深度顺序对椭圆进行从前到后（front-to-back）的混合，累积颜色和不透明度：
  [
  C = \sum_i T_i \alpha_i c_i, \quad T_i = \prod_{j=1}^{i-1} (1 - \alpha_j)
  ]
  其中，(\alpha_i) 为当前高斯的不透明度，(T_i) 为累积透明度，确保远高斯被近高斯遮挡，
• 提前终止：当像素的累积不透明度 (T_i < 1 - \epsilon)（如 (\epsilon=1e-4)）时，停止混合，加速渲染。

4. 可微分反向传播

• 前向记录：在正向渲染过程中，记录每个像素的累积不透明度和混合顺序，
• 反向遍历：反向传播时，从后到前（back-to-front）遍历高斯，利用前向记录的累积值计算梯度，
• 无限制梯度传播：支持任意数量高斯的梯度计算，无需限制每个像素的最大混合次数（如Pulsar的N=10限制），避免因截断导致的优化不稳定（文档图9）。

三、性能优化细节

1. 共享内存与数据重用

• 瓦片级数据加载：每个线程块处理一个瓦片，协作将高斯数据加载到共享内存，减少全局内存访问次数，
• 向量化操作：利用CUDA的向量化指令（如warp-level操作），并行处理同一瓦片内的多个像素，提升计算效率。

2. 数值稳定性保障

• 不透明度钳制：将 (\alpha) 限制在 ([0, 0.9999]) 范围内，避免除以零或数值溢出，
• 梯度修正：在反向传播中，通过累积不透明度的除法操作（(T_i / \alpha_i)）恢复中间透明度，确保梯度计算的稳定性。

3. 与优化阶段的协同

• 训练时的高效反馈：光栅化器的快速渲染能力（如135 FPS）使优化迭代周期缩短，结合自适应密度控制，实现51分钟内达到SOTA质量（文档图1），
• 多分辨率支持：在低分辨率下热身训练，逐步提升至全分辨率，避免高分辨率下的过拟合和计算过载。

四、与其他方法的对比

特性	本文光栅化器	传统体积渲染（如NeRF）	点云光栅化（如Pulsar）
渲染速度	实时（≥30 FPS，1080p）	慢（0.07 FPS，Mip-NeRF360）	较快（~10 FPS）
几何表示	3D各向异性高斯	隐式密度场	2D点+法线
可微分性	全流程可微分，支持任意深度	可微分，但依赖随机采样	部分可微分，需限制混合次数
内存消耗	数百MB（高斯参数）	低（神经网络权重）	取决于点云数量（通常更高）
** artifacts**	少（深度排序+α混合）	噪声（需大量采样）	孔洞或闪烁（点分布不均）

五、局限性与未来方向

1. 当前局限：
   • 深度排序为近似排序（基于瓦片而非像素级），可能导致极个别像素的遮挡顺序错误，
   • 复杂场景中高斯数量过大时（如>500万），排序和存储开销增加。
2. 改进方向：
   • 引入硬件加速的光线追踪，提升复杂遮挡场景的准确性，
   • 开发高斯压缩算法（如聚类或稀疏表示），降低内存占用，
   • 支持动态分辨率调整，适应实时交互中的性能需求变化。

总结

快速可微分光栅化器是3D高斯 splatting 实现“实时渲染”的核心引擎，通过瓦片划分-排序-混合的流水线设计，结合GPU并行计算和可微分技术，在保证高渲染质量的同时，将训练和推理速度提升至传统NeRF方法的数十倍。该技术不仅为实时神经渲染提供了新工具，也为显式几何表示与可微分渲染的结合开辟了新路径（文档结论部分）。