ISP对噪声的影响
传感器输出的Raw图像或视频，会经过ISP的处理生成sRGB图像或视频。 Raw域噪声也会受到ISP的一系列非线性复杂操作的影响，变为分布十分复杂 的sRGB域噪声。其中白平衡、去马赛克、颜色校正、伽马校正、色调映射、图 像与视频编码这几种操作对噪声都有着严重的影响。本节将对这些非线性操作 进行简要介绍，并分析其对实际噪声的影响。
1.1白平衡
人们在不同的光照环境下仍能获取物体颜色的不变特性，这是由于人的视 觉系统具有颜色恒常性。但成像设备并不具有这样的调节功能，导致不同光照 环境下拍摄的图像颜色通常与真实颜色存在一定程度的偏差。而白平衡算法通 过估计增益gr ed 、gb lue 、gg reen ，并对Raw图像的不同颜色通道乘以对应增益，可以达到抵消光照环境影响的功能。
常对Raw图像的红、蓝通道像素乘以大于1的增益，所以也增大了红、蓝通道的 噪声。但相比其他ISP操作，其对噪声的影响较低。
1.2去马赛克
去马赛克算法虽然补全了颜色通道缺失的像素值，但是也引 入了更为复杂的噪声。去马赛克前，每个像素点的噪声只与到达该像素点的光子以及传感器系统特性有关。但去马赛克后，被补全的像素点的噪声会与相邻 的像素点以及其他颜色通道的像素点的噪声都具有相关性。噪声分布也变得难 以用统计方法建模。
1.3颜色校正
颜色校正用于将去马赛克之后的三通道图像或视频，从传感器RGB空间 转换到sRGB线性空间。通常通过乘以颜色校正矩阵（CCM，Color Correction Matrix）完成转换。
ISP中的颜色校正虽然有助于更好地展示颜色。但也使得噪声变得更加复杂，与 颜色息息相关。因为颜色校正会增强彩噪，有的相机在高ISO时会降低颜色校正 功能，甚至关闭该模块。
1.4伽马校正与色调映射
在ISP中会有伽马校正操作，将像素值通过幂运算方法放大，以抵消显示伽马的 影响。
伽马校正还有另一个优点。根据韦伯理论：人眼的视觉是非线性的，并且 人眼对暗部的变化更加敏感。而存储、传输、显示图像时都是有带宽限制的。 通过编码伽马映射，暗区像素被提亮，变化范围更大，从而使得之后存储的 位宽更多地被分配给暗区。有时当整个图像都偏暗时，也会设置γe nc 的倒数大于γd is ，使显示的所有像素都被一定程度地提亮。此时伽马校正包含了色调映射的功能。
色调映射（Tone Mapping）通过对拍摄图像的亮度进行映射，可以提升图 像的对比度。色调映射主要分为全局色调映射和局部色调映射。前者包括单一 伽马曲线增强、双边滤波色调映射等方法，后者包括虚拟曝光、局部伽马曲线 增强等方法。伽马曲线增强即使用类似编码伽马的曲线对图像进行相应的映射。 图2-8展示了色调映射前后的效果，可以看到色调映射提亮了暗处的细节，使图 像拥有更好的对比度，但同时也放大了暗处的噪声。无论是伽马校正还是色调 映射，作为非线性操作，都会使噪声的分布变得更加复杂，对去噪带来困难。
1.5图像与视频压缩
目前数码相机能拍摄的图像和视频的分辨率越来越高，导致存储数据需要 的空间也越来越大。以分辨率为1080p即1920×1080的s RGB视频为例，其每帧 总像素数为2073600。假设以字节数最小的uint8数据类型存储，因每个像素有三 个通道各占1个字节，则每帧需要约6MB空间。即使该视频帧率为正常的20帧/s， 且是只有30s的短视频，共600帧，所需空间也高达3.5GB。如果视频有更高的分 辨率（如目前逐渐流行的4K分辨率3840*2160）和更大的时长（如属于电影等）， 则所需的空间将更大，对其存储和传输也会变得更加困难。所以对图像和视频 进行压缩以减少其存储空间，是十分必要的。图像和视频数据的相邻像素和相 邻帧间具有相关性，即存在着冗余，所以可以被压缩。图像或视频压缩又被称 为图像或视频编码，通过去除冗余的数据来减少表示数据所需的比特数，在存 储和传输后再通过解码过程还原冗余的信息。根据编解码后是否有数据损失无 法还原，可以分为有损编码和无损编码。在图像或视频编码前首先会进行颜色 空间转换（CSC，Color Space Conversion）和采样。
图像和视频编码通常采用基于块的编码方式和量化，当压缩率较大时会造 成相邻块之间存在明显的差异，这种现象被称为块效应。块效应会使噪声变得 更加复杂并难以去除。综上所述可知，相比可进行统计建模的Raw域噪声，经过ISP处理后的sRGB域噪声的分布会变得更加复杂，不利于卷积神经网络的学习。因而在Raw域去噪会有更好的性能。而且Raw域去噪还可以减少噪声对每个ISP操作的影响，有助于提升最终的sRGB域成像性能。