CMOS图像传感器系列--(五)HDR之大小像素技术
CMOS图像传感器系列–(五)HDR之大小像素技术
文章目录
- CMOS图像传感器系列--(五)HDR之大小像素技术
- 一. HDR帧数
- 1.1 多帧 HDR--Frame-based HDR
- 1.2Line Interleaving HDR
- 1.3 单帧 HDR
- 二.大小像素HDR
- 2.1 [Samsung ISOCELL Auto 4AC](https://link.zhihu.com/?target=https%3A//semiconductor.samsung.com/cn/image-sensor/automotive-image-sensor/isocell-auto-4ac/) 车载 CIS（CMOS image sensor）采用的 [CornerPixel](https://zhida.zhihu.com/search?content_id=615481029&content_type=Answer&match_order=1&q=CornerPixel&zhida_source=entity)™ 技术
- 2.2.大小pixel的分离结构
- 2.2.1大小分离pixel的电路设计
- 2.3.大小像素HDR与时域HDR在motion artefact上的比较
- 2.4.大小像素与Dual conversion gain的结合
- 2.4.1、技术融合原理
- 2.4.2 性能优势
- 2.4.3 典型应用与代表方案
一. HDR帧数
1.1 多帧 HDR–Frame-based HDR
多帧 HDR 方案是通过连续采集不同曝光时间的两帧或者多帧图像进行融合，从而获得 HDR 图像的技术。相比单帧 HDR 方案，它一般不会损失空间分辨率，但是会损失时间分辨率。由于不同曝光时长的帧在时间上没有对齐或者整体帧率下降，可能会导致运动模糊现象。
这种是最直接的多帧 HDR 方案，即先采集一帧长曝光的图像并读出，然后再采集一帧短曝光的图像并读出，循环进行此过程。在 ISP 中会对长短曝光图像进行融合，得到 HDR 图像。这种方式的缺点也很明显，就是必须等长曝光图像采集完成后才能采集短曝光图像，这会导致两帧之间有明显时差，而且在融合后输出视频的整体帧率会掉一半，所以对运动目标成像时可能产生运动模糊。
1.2Line Interleaving HDR
行交织 HDR
一般常见的 CMOS sensor 的快门都是滚动快门（也叫卷帘快门，Rolling Shutter），其曝光和读出都是从上至下一行行读取的，而不是曝光结束后一次性读取的（这种叫作全局快门，global shutter）。
针对这种滚动快门的 Sensor，可以采用行交织的方式采集长短曝光的图像，即在每一行进行完一次长曝光后，立即再进行一次短曝光，而不是像 frame-based HDR 那样等所有行都长曝光结束读出一帧之后再采集短曝光，这样可以大大减小长短曝光的时差。从 readout 角度来看，就是长曝光帧与短曝光信号交错着依次输出，从而达到“准同时”输出多帧不同曝光时间图像的效果，能有效缓解 frame-based HDR 中存在的运动模糊问题。
不过这种方案也会带来一些额外的问题。由于它需要对于每一行进行多重曝光，每一行的曝光时间的长度实际上就是各次曝光时间的总和，这样会导致各行之间曝光开始的时间差远远超过了单次曝光模式下的行时间差。这一点在 CMOS Sensor 的 Rolling Shutter 下，会使得果冻效应更加明显。这一点是由其完整的工作原理所限定，无法进行优化。不过果冻效应一般也就是在光线很暗曝光时间较长，以及针对高速运动的物体进行拍摄的时候才会出现，所以对于 DOL HDR 模式的使用而言，就需要尽可能避免这种应用场景。
基于 Line Interleaving HDR 方案，SONY 实现的技术叫作 DOL-HDR（Digital Overlap HDR）在 IMX335 等 Sensor 上支持该模式；OV 实现方案为 staggered HDR。DOL-HDR 最多支持 4:1 曝光输出 (long, medium, short, very short)， OV 最多支持 3:1 输出 (long, medium, short)
1.3 单帧 HDR
单帧 HDR 是指通过一次曝光采集就可以实现 HDR 的技术，即在采集到的一帧图像中同时包含了曝光亮不同的亮部信息和暗部信息，通过融合得到 HDR 图像。其优势是避免了多帧采集再融合的 HDR 方案中，由于不同帧采集时刻不同，而可能出现的内容不对齐、运动模糊的现象。其缺点在于，大部分的单帧 HDR 方案都是以牺牲空间分辨率为代价的。
1.4 小结
总结起来，从时间上来说，增强 HDR 的手段可以分为单帧和多帧 HDR，两者各有优势。前者主要优点在于基本没有运动模糊，但是一般会损失空间分辨率；后者一般不会损失空间分辨率，但是可能损失时间分辨率，导致运动模糊。在实际应用中，不同类型的 HDR 技术有的可以结合使用，来获得更大的