密度估计：参数与非参数
密度估计（Density Estimation）
密度估计是数据分析中非常重要的一部分，广泛应用于探索性数据分析、决策制定、分类、以及数据可视化等方面。通过估计数据的概率密度函数，我们能够深入了解数据的分布特征，从而揭示数据的内在结构、模式和规律。
密度估计的应用
- 评估数据分布特征
- 多峰性（Multimodality）：密度估计能够帮助我们识别数据中的多个分布峰，从而揭示数据是否存在多个子群体。例如，金融数据可能呈现多个峰值，这意味着可能有不同的市场群体或事件模式。
- 偏斜性（Skewness）：通过密度估计，我们可以直观地观察数据是否具有偏斜分布。例如，右偏分布表明数据的右尾较长，常见于收入、房价等数据；左偏分布则意味着数据的左尾较长。
- 尾部行为（Tail Behavior）：密度估计特别有用于分析数据的尾部行为。在金融分析中，识别极端事件或异常值非常重要，例如金融市场中的极端波动或异常损失。
- 决策和分类
- 贝叶斯推理（Bayesian Inference）：在贝叶斯推理中，密度估计用于估计后验分布，后者有助于进行决策。通过密度估计，我们能够从先验分布结合数据（观测值）得到更准确的后验分布。
- 分类问题：在分类任务中，密度估计可以用于估计不同类别的数据分布，并帮助分类器进行决策。通过估计每个类别的概率密度，分类器可以根据测试样本的概率值进行类别预测。
- 数据可视化
- 密度估计不仅可以帮助理解数据的分布，还常用于可视化分析。通过绘制密度图，我们可以直观地看到数据的形态（如单峰、双峰或其他形式），并轻松识别出数据的趋势、模式以及潜在的异常。
估计密度函数的目标
假设我们有一组独立且同分布（i.i.d.）的观测值 X1,X2,…,Xn，这些观测值是从某个未知分布中抽取的。我们的目标是估计该分布的概率密度函数 f(x)，通过样本数据找到最能描述数据分布的函数。
步骤：
- 数据采样假设：假设样本 X1,X2,…,Xn 独立同分布，来自一个未知的概率分布。我们希望从这些样本中估计出概率密度函数。
- 估计目标：我们通过样本数据构建一个估计密度函数 f(x)，使其尽可能准确地反映数据的真实分布。
参数化密度估计（Parametric Density Estimation）
参数化方法假设数据来自某种已知的分布类型（例如正态分布）。然后，基于该假设，利用最大似然估计（MLE）等方法估计分布的参数。
正态分布的MLE估计
假设数据 XXX 来自正态分布 N(μ,σ^2)，我们可以使用最大似然估计（MLE）来估计均值 μ和标准差 σ 的值。
- 假设数据服从正态分布：假设数据服从正态分布 X∼N(μ,σ2)
- 构建似然函数：对于正态分布，其概率密度函数为：
( x ∣ μ , σ ) = 1 σ 2 π exp ( − ( x − μ ) 2 2 σ 2 ) (x \mid \mu, \sigma) = \frac{1}{\sigma \sqrt{2 \pi}} \exp \left( -\frac{(x - \mu)^2}{2\sigma^2} \right) (x∣μ,σ)=σ2π1exp(−2σ2(x−μ)2)
似然函数为所有数据点的概率密度的乘积：
L
(
μ
,
σ
∣
X
)
=
∏
i
=
1
n
1
σ
2
π
exp
(
−
(
X
i
−
μ
)
2
2
σ
2
)
L(\mu, \sigma \mid X) = \prod_{i=1}^{n} \frac{1}{\sigma \sqrt{2\pi}} \exp \left( -\frac{(X_i - \mu)^2}{2\sigma^2} \right)
L(μ,σ∣X)=i=1∏nσ2π1exp(−2σ2(Xi−μ)2)
- 对数似然函数：为了简化计算，取对数似然函数：
ℓ ( μ , σ ∣ X ) = ∑ i = 1 n [ − log ( σ 2 π ) − ( X i − μ ) 2 2 σ 2 ] \ell(\mu, \sigma \mid X) = \sum_{i=1}^{n} \left[ -\log(\sigma \sqrt{2\pi}) - \frac{(X_i - \mu)^2}{2\sigma^2} \right] ℓ(μ,σ∣X)=i=1∑n[−log(σ2π)−2σ2(Xi−μ)2]
- 求导并最大化：对对数似然函数分别对 μ\muμ 和 σ\sigmaσ 求导，并将其设为零，得到最大似然估计：
- 对 μ 求导得到：
μ ^ = 1 n ∑ i = 1 n X i \hat{\mu} = \frac{1}{n} \sum_{i=1}^{n} X_i μ^=n1i=1∑nXi
- 对 σ 求导得到：
σ ^ 2 = 1 n ∑ i = 1 n ( X i − μ ^ ) 2 \hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^{n} (X_i - \hat{\mu})^2 σ^2=n1i=1∑n(Xi−μ^)2
最终，通过这些公式，我们就可以估计正态分布的参数 μ\muμ 和 σ\sigmaσ。
非参数密度估计（Non-Parametric Density Estimation）
参数化方法的误设风险（Danger of Misspecification with Parametric Approach）
- 如果假设的分布不正确（If the assumed distribution is incorrect）
- 使用参数化方法进行密度估计时，如果假设的分布与真实分布不一致，可能导致严重的推断错误。特别是当数据来自复杂分布或存在多个峰时，假设为单一分布（如正态分布）可能无法准确捕捉数据的真实形态。
- 这种误设风险在许多实际应用中是一个问题，因为很多时候数据的真实分布并不符合简单的已知分布（如正态分布）。如果假设错误，推断出的参数和推理结果将不可靠，甚至导致决策失误。
- 例如：假设数据的分布为正态分布，但数据呈现多峰性或极端偏斜，这样的假设可能导致估计结果的严重偏差，影响分析结论。
非参数密度估计方法（Non-Parametric Approaches to Density Estimations）
非参数密度估计不依赖于对数据分布的假设，因此它不受参数化方法假设错误的影响。它们通常基于数据本身的结构，通过局部信息来估计密度函数。非参数方法的一个典型优点是灵活性，它能够处理复杂的、未知的分布。
- 假设较少（Assume little about the structure of the data）： 非参数方法几乎不假设数据的分布形式，因此可以适用于更广泛的情况，尤其是当我们对数据的分布不了解或无法做出合理假设时。
- 使用局部信息进行估计（Use local information to estimate at a point）： 非参数方法通常通过对每个数据点周围的局部区域进行密度估计，以获得对整体分布的估计。这使得非参数密度估计能够灵活地捕捉数据中的局部模式。
直方图（Histograms）
- 一种非参数密度估计方法（One type of nonparametric density estimators）： 直方图是最常见的非参数密度估计方法，它通过将数据分组（或分箱）并统计每个箱中的频数来估计数据的分布。
- 分段常数密度估计（Piecewise constant density estimators）： 直方图通过将数据分成多个区间（箱），并计算每个区间内的频率，得到了一个分段常数的密度估计。虽然直方图简单易懂，但它通常不能提供平滑的估计。
- 大多数软件包会自动生成直方图（Produced automatically by most software packages）： 许多数据分析软件（如 R、Python）都可以自动生成直方图，并且提供参数调整选项，例如箱宽度的选择，这对结果的精度和可靠性有重要影响。
影响非参数密度估计的因素
- 箱宽度（Bin Width）： 在使用直方图等方法时，箱宽度的选择会极大地影响密度估计的结果。较小的箱宽度可能会导致密度估计过于不稳定，表现为过于波动的图形；而较大的箱宽度则可能导致过于平滑的估计，忽略了数据中的重要细节。因此，选择适当的箱宽度至关重要。
- 数据量的影响： 当数据量很大时，直方图等非参数估计方法能够提供更准确的分布估计。较少的数据可能导致估计结果的不稳定和偏差。
- 局部核密度估计（Kernel Density Estimation, KDE）： 除了直方图，另一种常见的非参数估计方法是核密度估计（KDE）。KDE 方法通过在每个数据点上放置一个核函数（通常是高斯核），然后平滑地估计密度。这种方法相比直方图具有更高的平滑性和灵活性。
核密度估计（Kernel Density Estimation, KDE）
核密度估计是一种通过对每个数据点应用核函数来估计概率密度函数的方法。它是一种平滑数据的非参数方法，能够生成更精确的密度估计。
KDE的公式：
f
^
(
x
)
=
1
n
h
∑
i
=
1
n
K
(
x
−
X
i
h
)
\hat{f}(x) = \frac{1}{n h} \sum_{i=1}^{n} K \left( \frac{x - X_i}{h} \right)
f^(x)=nh1i=1∑nK(hx−Xi)
其中：
- n 是样本大小。
- h 是带宽参数，控制平滑的程度。
- K 是核函数，常用的核函数有高斯核、均匀核等。
常见的核函数：
- 高斯核（Gaussian Kernel）：
K ( x ) = 1 2 π exp ( − x 2 2 ) K(x) = \frac{1}{\sqrt{2\pi}} \exp \left( -\frac{x^2}{2} \right) K(x)=2π1exp(−2x2)
- 均匀核（Uniform Kernel）：
K ( x ) = 1 2 ⋅ 1 ∣ x ∣ ≤ 1 K(x) = \frac{1}{2} \cdot 1 \left| x \right| \leq 1 K(x)=21⋅1∣x∣≤1
- Epanechnikov核（Epanechnikov Kernel）：
K ( x ) = 3 4 ( 1 − x 2 ) ⋅ 1 ∣ x ∣ ≤ 1 K(x) = \frac{3}{4} (1 - x^2) \cdot 1 \left| x \right| \leq 1 K(x)=43(1−x2)⋅1∣x∣≤1
KDE的步骤：
- 对每个数据点应用核函数 KKK，进行平滑。
- 将所有平滑后的核函数结果加总，得到密度估计。
KDE的优势与限制：
- 优势：KDE适用于任何数据分布，无需做分布假设，且可以得到平滑的密度曲线。
- 限制：KDE的效果很大程度上依赖于带宽参数 h，带宽过大可能导致过度平滑，带宽过小则可能过度拟合数据。
带宽参数的影响
带宽参数 h 对核密度估计的结果有重要影响。带宽越小，核函数越狭窄，估计的密度会更加关注局部数据，可能导致过度拟合。带宽越大，估计的密度曲线越平滑，可能导致信息丧失。
- 小带宽（h 太小）：
- 方差高：当带宽很小时，估计的密度对每个数据点的变化非常敏感。这意味着，数据中的噪声和随机波动会导致估计的密度波动较大，从而产生高方差。
- 偏差低：由于小带宽允许估计更加精细地适应数据的局部结构，因此估计密度与实际分布之间的误差较小，即偏差较低。
- 大带宽（h 太大）：
- 方差低：当带宽较大时，密度估计更加平滑，减少了对数据点的局部波动的敏感性。因此，估计的密度变得更加稳定，方差较低。
- 偏差高：大带宽会导致估计的密度过于平滑，忽略了数据的细节和局部特征，从而使得估计结果偏离了真实的分布，产生较高的偏差。
选择适当的带宽通常是通过交叉验证等方法来实现的。
Bins的宽度
在进行直方图密度估计时，bin的宽度（即每个区间的范围）对结果有重要影响。较小的bin宽度会导致更多的波动，较大的bin宽度则可能导致信息丧失。因此，选择合适的bin宽度是密度估计中的一个关键问题。