基于人眼视觉特性的相关图像增强基础知识介绍
目录
1. 传统的灰度级动态范围优化配置方法
2.基于视觉特性的灰度级动态范围调整优化
1. 传统的灰度级动态范围优化配置方法
传统的灰度级动态范围调整方法主要包括线性动态范围调整及非线性动态 范围调整。线性动态范围调整是最简单的灰度级动态范围调整方法，观察者可 以改变任何灰度级范围内的对比度。然而，这种简单的方法很难同时提高所有 区域的对比度。直方图均衡化是非线性动态范围调整中最常用的一种方法，其 实质是有选择地增强图像中的某些信息（占有较多像素的灰度）而抑制另一些信息（占有较少像素的灰度）。虽然直方图均衡化在一定程度上使得处理后的图 像灰度得以较均匀的分布，改善了图像的视觉效果，但如第一章所述，直方图 均衡化方法并没有考虑到人眼感知的非线性特性，即它是在假定不同的灰度级 的视觉敏感度一样的基础上进行动态范围调整的，并不能充分利用视觉敏感区 段。
由于在图像灰度级统计时，往往会出现部分主导灰度级统计值过大的情况， 使得图像处理后出现振铃现象、噪声过增强等问题，并且这些灰度级因为占据 了较大灰度级空间，进而影响其它灰度级的表现。因此有必要对这些灰度级分 配的动态范围进行限幅处理。文献[8]提出了固定值限幅方法，但由人眼感知特 性可知，采用固定值限幅处理方法难以同时实现亮暗两个区域的主导灰度级动 态范围的优化配置，且其最优限幅阈值的设定缺乏相关的理论指导。
2.基于视觉特性的灰度级动态范围调整优化
图像增强的目的之一是为了改善图像的视觉效果，以增强人眼对图中信息 的辨别能力。对人眼视觉系统的研究，一方面为算法的改进提供新的线索，另 一方面为设计图像增强的量化评估算法提供依据。临界可见偏差(Just Noticeable Difference, JND) 是现已提出的能反映人眼视觉辨别力的重要参数，它揭示了 人眼在不同亮度背景下对亮度偏差的感知规律。下面首先简要介绍JND相关背 景知识，然后再介绍JND曲线在本章的应用。
临界可见偏差这一概念最早是由Jayant提出，在图像压缩编码设计和评 估中被普遍采用，但JND与图像增强也有着密切的关系，它反映了人眼在不同 亮度背景条件下能分辨的最小亮度偏差，这也是细节信息被有效增强的最低门限要求。已有的视觉研究成果表明，人眼所能感觉到的最小亮度差与观察对象的背 景有关，即视觉对亮度偏差的敏感程度随背景亮度变化呈非线性变化，总的 来说在高亮度背景区人眼对亮度偏差的辨别力比在低亮度区要强。图4-1所示 直观显示了视觉在不同背景条件下的感知差异，图4-1（b）是将图4-1（a）中 的所有灰度级值加上50得到的，这等效于将原图像整体亮度提升了50个灰度 级。从这两图对比可以看出，原图像中暗区不可见信息或难以分辨的信息（如 人物衣服区域和墙上的部分文字）在亮背景下变得可见或更易辨别。但图像整 体亮度的提升并没有改变原图像暗区灰度之间的偏差。
尽管人们很早就发现了亮度阈值效应，即人眼的分辨能力无法区分相邻的 灰度级差别，只有当单个像素的灰度级其局部背景平均亮度的偏差超过某一阈 值（通常阈值≥4）时，才能被人眼所感知，这一现象称为视觉的亮度阈值效应。但由于视觉机理太复杂，且和视觉心理有关，因此目前还没有建立一个 精确的数学模型。比较实用的方法是通过多人试验来确定JND值[ 58]。实验结果 如图4-2所示。
由图4-2可见，当场景中的背景很暗或很亮时，人眼对亮度偏差的辨别敏感 度低，而在中等亮度背景下对信息的辨别力较强，其中敏感度最高的是在灰度级 约为127的背景区域。亮度阈值曲线的近似表达式为：
式中I(x,y)是以像素点(x, y)为中心的局部背景区域的平均亮度值，其定义 如下：
临界可见偏差（JND）值的确立，一方面揭示了视觉系统（HVS）的感知规律，为判定信息是否有效增强提供了量化的依据，在下文中会被提到；另一方面也为图像增强算法的改进提供有用的线索。但需要说明的是，上述亮度阈 值是在假定背景亮度一致的条件下测定的。
由图4-2所示的临界可见偏差（JND）曲线可以看出，当背景越暗时，人 眼的感知能力越弱，随着灰度的增加，人眼的感知能力也迅速的增强，直到灰 度级在90~160左右时，人眼的感知能力达到最强，偏差大于4即可被感知，随 后感知能力又慢慢随灰度级的增加而减弱。因此如果将待增强图像的重要区域 的灰度值大部分配置于人眼感知能力很强的灰度区域，同时将图像中灰度值较 小的区域的灰度级拉伸，使其灰度级差别不那么接近，这样从理论上来说图像 增强效果会更好。所以上一节中深入研究了人眼感知模型，在这一节将利用其 来调整灰度级动态范围，而在此过程中，JND曲线及直方图都需要划分为三个 区域，分别对应最弱感知区、最强感知区、次强感知区及少量信息区、大量信 息区、次大量信息区，并分别将这些信息区分配到对应的感知区段。
灰度级动态范围调整的基本思想是：在新的直方图的基础上，利用JND曲 线来调整直方图的动态范围，即把灰度级动态范围分为三部分：根据经验，前 两部分所占比例之和为0.8，由于最强感知区的视觉敏感度最高，理论上处于最 强感知区的信息越多，人眼所感知到的信息也越多，图像就越容易被感知，但 实际上如果分配到最强感知区的信息量太多，则会有大量的信息分享有限的灰 度级空间，导致小于JND的信息量增加，反而不利于感知图像，所以设定最弱 感知区和最强感知区的分界为灰度级信息总量的0.05 +0.02×i, i=0,1,,10L，剩下的0.2为第三部分。同时根据JND曲线把灰度范围也划分为三个部分：即0~75， 76~200，201~255之间，也就是5%~25%的直方图动态范围存放在近30%的灰 度空间内，直方图动态范围的中间部分存放在近50%的灰度空间内，超过20%的灰度空间存放直方图动态范围的最后20%的信息。即拉伸灰度值小的区域， 使其增强后灰度差别增大，容易被感知，同时由于灰度值大的区域容易被感知， 因此，适当的对其进行压缩，增强后对其不产生影响。但具体动态范围的第一 部分所占比例为多大，需要依据评价算法来确定。
灰度分辨特性反映了人眼对不同灰度范围的分辨能力。经过反复的实验 推导从而得出结论，如图3-3所示。从图中的趋势性曲线可以得出：当灰度处 于较低或较高的情况时，人眼分辨灰度间差距较难、分辨能力较差；当灰度处 于中等的情况时，人眼分辨灰度间差距的能力较强。例如：当灰度值为0时， 任意两灰度级间差值大于6，人眼才能将其分辨出来；当灰度值为70时，任意 两灰度级间差值为1，便能准确分辨。根据视觉灰度分辨能力，得出：当图像某 一区域内的灰度差较大时，更易引起视觉的关注。
在图像处理中，可以结合视觉灰度分辨特性，对灰度值进行有效地压缩与 拉伸，来增强图像的效果，但是当灰度间差距很大、视觉分辨很容易时，再对 其进行灰度间级别增加，反而意义不大，图像质量也会下降。针对红外图像增 强算法，适度得调节灰度值差异，使视觉注意力集中在图像中灰度级差异较大 的细节区域，更好得识别有用的图像信息。
在ISP Pipeline中的某些模块，会对中高亮度的像素赋予较大的权重，而对较低和较高亮度的像素赋予较低的权重。这样做的目的是否也是模拟人眼对灰度的分辨率特性呢？这样做加权处理之后的结果更加符合人眼所观察到的实际效果呢？