研究学习3DGS的顺序
6 个核心基础模块
| 序号 | 模块 | 说明 | 推荐学习顺序 |
|---|---|---|---|
| 1 | 📷 三维计算机视觉基础 | 建立对3D场景、点云、体积的空间理解 | ✅第一个 |
| 2 | 🧮 CT成像原理与图像表示 | 理解CT图像本质、断层数据、密度单位 | ✅并行进行 |
| 3 | 🟡 NeRF与3D Gaussian Splatting原理 | 掌握点云/高斯场如何表示3D信息 | ✅重点 |
| 4 | 🧠 深度学习框架（PyTorch） | 为训练网络/修改代码打基础 | ✅必须掌握 |
| 5 | 🎨 渲染基础（体积渲染、光照模型） | 尤其要懂Ray Marching、Alpha合成 | ✅推荐补充 |
| 6 | 📊 3D数据处理与评价指标 | 如何读写.ply、.nii、.mhd等数据格式 | 🔁应用时再精学 |
具体推荐学习内容（含路径）
1️⃣ 三维视觉基础
-
✅ 《Multiple View Geometry in Computer Vision》（可选读第1-4章）
-
✅ B站课程或CS231n关于3D场景、三角网格、点云等基础讲解
-
✅ 推荐关键词：三维重建、Structure-from-Motion (SfM)、点云(Point Cloud)、体素（Voxel）
2️⃣ CT成像与医学图像表示
-
✅ 学习 CT的物理原理：X射线、Hounsfield Units (HU)、切片间隔、3D Volume
-
✅ 学会查看CT图像格式：DICOM、.nii.gz、.mhd
-
✅ 推荐工具：
-
3D Slicer（医学图像查看与可视化）
-
SimpleITK/PyTorch + nibabel（读取.nii等格式）
-
3️⃣ 3D Gaussian Splatting 相关原理
-
✅ 阅读论文：“3D Gaussian Splatting for Real-Time Radiance Field Rendering”（CVPR 2023）
-
✅ 跑通官方代码：https://github.com/graphdeco-inria/gaussian-splatting
-
✅ 理解核心概念：
-
3D高斯点：位置、尺度、旋转、颜色、不透明度
-
Splatting渲染原理：光线穿过多个高斯点，按透明度融合
-
4️⃣ 深度学习基础与PyTorch
-
✅ 推荐学习路径：
-
零基础看莫烦PyTorch教程（B站）
-
用小项目（如猫狗分类）练习模型训练、损失函数、可视化
-
-
✅ 常用内容：
-
Dataset、DataLoader、model.forward
-
损失函数（L1、MSE、Focal Loss）
-
可视化（TensorBoard、matplotlib）
-
5️⃣ 渲染基础：体积渲染与透明度融合
-
✅ 学习Ray Marching原理（体素/场景渲染关键）
-
✅ 学习Alpha合成与光线累积规则（在3DGS中用于可视化）
-
✅ 可阅读论文/博客：
-
NeRF核心原理
-
“How NeRF Works”系列博客
-
-
✅ 推荐工具：
-
Open3D
-
Kaolin / PyTorch3D（Meta）
-
6️⃣ 3D医学数据处理与可视化
-
✅ 学习如何从 DICOM/NII 读取体积数据
-
✅ 掌握基本可视化：体绘制、MIP、切面分析
-
✅ 推荐工具：
-
SimpleITK/nibabel/monai（医学图像处理工具包） -
3D Slicer+ Python脚本二次开发
-
✅ 已实现内部结构重建的核心研究
1. Volumetrically Consistent 3D Gaussian Rasterization
-
内容亮点：通过对3D高斯体积进行解析积分，实现物理一致的透明度（alpha）计算，直接用于CT/层析成像 （tomography）。
-
重点说明：作者指出该方法“直接用于CT成像”，并且在层析重建任务上达到或超越现有3DGS体方法 ruyi-zha.github.io+1arxiv.org+1jarxiv.com+6arxiv.org+6ruyi-zha.github.io+6。
2. R²‑Gaussian: Rectifying Radiative Gaussian Splatting for Tomographic Reconstruction
-
内容亮点：这是首个专注于稀疏视图X光/CT断层的3DGS框架，通过校正投影积分偏差，获得高质量体积重建，速度比 NeRF 快12倍 reddit.com+2arxiv.org+2link.springer.com+2。
-
明确实现：论文直接用于“X-ray computed tomography”，说明已经实现内部结构还原。
3. RayGauss: Volumetric Gaussian‑Based Ray Casting
-
内容亮点：引入体积光线投射机制，将高斯体作为可微、物理一致的体积渲染单元，适合处理内部密度与结构 arxiv.org+1ruyi-zha.github.io+1hub.baai.ac.cn。
-
实现方向：虽然聚焦于视角合成，但其“体积光线投射”机制是内部重建基础。
🔍 总结对比
| 论文 | 实现内部结构重建？ | 技术核心 | 任务类型 |
|---|---|---|---|
| Volumetrically Consistent 3D Gaussian Rasterization | ✅ | 对高斯体进行体积积分 | CT、层析重建 |
| R²‑Gaussian | ✅ | X光投影+偏差校正，体积恢复 | 稀疏CT重建 |
| RayGauss | ✅ | 光线体积投射 | 体渲染、新视角 |
| 原始3DGS | ❌（仅表面） | 2D splatting投影 | 可见表面重建 |
📝 结论
-
✅ 已有人通过3篇关键论文证明了内部结构重建的可行性。
-
✅ 特别是 Volumetrically Consistent 3D Gaussian Rasterization 和 R²‑Gaussian，明确应用于CT/X光层析任务。
-
✅ 也就是说，这个方向已在少量但高质量研究中实现，你无需完全从零开创，而是在已有基础上推进。
| 方案方向 | 核心优势 | 影响你任务的关键点 |
|---|---|---|
| NeuSG | 表面＋内部密度融合 | 精细几何与体积结合 |
| IOAR | 多层级表面识别 | 重建明确“内”和“外”边界 |
| MirrorGaussian | 光学混合结构处理 | 可处理反射/透视下结构 |
| SOGS/RestorGS | 轻量 & 深度增强 | 稀疏与复杂数据的重建 |
| SuGaR / DepthSplat | 高效生成网格 | 精细层次结构 + 加速处理 |