深度感知卷积和深度感知平均池化

A. 深度感知卷积（Depth-Aware Convolution）

将深度感知卷积和深度感知平均池化整合到深度卷积神经网络（DCNNs）中，可以有效地增强特征提取能力。传统的卷积和池化操作对不同深度的像素进行无差别处理，往往忽略空间几何信息；而深度感知方法通过在卷积核和池化区域内引入深度相似度函数（公式1和2），在特征聚合过程中赋予具有相似深度的像素更大的权重。具体来说，深度感知卷积通过加权机制强调深度一致区域，从而保留更多的细节和结构信息。

公式（1）：

$$y(p_0)=\sum _{p_n\in R}w(p_n)\cdot FD(p_0,p_0+p_n)\cdot x(p_0+p_n)$$

公式（2）：

$$FD(p_i,p_j)=\exp (-|D(p_i)-D(p_j)|)$$

其中，$x(p_0+p_n)$ 代表输入特征图在位置 $p_0+p_n$ 处的值，$FD(p_i,p_j)$ 是深度相似度函数，$D(p_i)$ 和 $D(p_j)$ 分别表示位置 $p_i$ 和 $p_j$ 处的深度值。

B. 深度感知平均池化（Depth-Aware Average Pooling）

深度感知平均池化利用深度相似度函数为计算平均值时赋予具有相似深度的像素更高的贡献。其输出可以表示为公式（3），其中 $R$ 表示池化区域，$x(\cdot )$ 表示输入特征图。该方法能够有效地保留深度丰富场景中的物体边缘和几何信息，从而增强图像在视觉任务中的细粒度识别能力，如物体检测和图像分割。

公式（3）：

$$y(p_0)=\sum _{p_n\in R}FD(p_0,p_0+p_n)\cdot x(p_0+p_n)/\sum _{p_n\in R}FD(p_0,p_0+p_n)$$

此公式表示，通过深度相似度函数 $FD(p_0,p_0+p_n)$ 为池化区域中的每个位置赋予加权，从而更好地保留图像中重要的深度信息。

公式解读

A. 深度感知卷积（Depth-Aware Convolution）

1. 公式 (1):
   该公式表示深度感知卷积的输出 $y(p_0)$ 是输入特征图中的一个位置 $p_0$ 的加权和，公式中 $x(p_0+p_n)$ 代表输入特征图在位置 $p_0+p_n$ 处的值。每个位置的权重 $w(p_n)$ 是通过深度相似度函数 $FD(p_i,p_j)$ 来计算的，其中 $p_i$ 和 $p_j$ 是卷积核内的不同位置，而 $D(p_i)$ 和 $D(p_j)$ 分别表示位置 $p_i$ 和 $p_j$ 处的深度值。

2. 公式 (2):
   该公式定义了深度相似度函数 $FD(p_i,p_j)$，通过计算位置 $p_i$ 和位置 $p_j$ 之间的深度差异来评估它们的相似度。具体来说，深度相似度函数 $FD(p_i,p_j)$ 是深度差的指数衰减函数 $\exp (-|D(p_i)-D(p_j)|)$，这意味着深度相似度随着深度差的增大而迅速减小。

总结： 在深度感知卷积中，模型会根据像素间的深度相似性加权计算卷积操作，以此来保留结构性和细节信息，特别是在深度信息一致的区域。

B. 深度感知平均池化（Depth-Aware Average Pooling）

3. 公式 (3):
   该公式表示深度感知平均池化的输出 $y(p_0)$ 是一个池化区域 $R$ 内所有位置的加权和，其中每个位置的权重是通过深度相似度函数 $FD(p_0,p_n)$ 来计算的。与传统平均池化不同，深度感知池化根据深度相似度对每个位置的贡献进行加权，从而保持图像中深度丰富区域的细节，如物体边缘等重要特征。

总结： 在深度感知平均池化中，通过加权计算池化区域内像素的平均值，深度相似度函数用于增强相似深度区域的贡献，从而有助于保留重要的物体和几何信息。