Street Crafter 阅读笔记

Data Loader

假设一共读取100 cameras: 其中 50 个 camera 作为 training cameras, 还有 50 个 camera 作为 test cameras, 另外分别 平移 2m 和 3m 生成 200 个 Novel View 的 cameras

数据处理

每次加入一张 Ref_image 和对应的 Mask ， 以及 shift 之后的 24 张 image 和对应的 Mask 组成一个 Diffusion 的 Batch.
这写 Batch 送入到 Diffusion 的前行过程当中，进行一次 推理。

送入 SVD

每次将 Lidar Render 的图像的 （24张）新视角的 图像 和在原来视角的图像， 25张图象 作为一个 batch, 送入到 Diffusion 里面