似然分布与共轭分布，算是补作业吧
前言
读文章遇到"似然分布的共轭分布"。这些概率论中的概念，容易让人蒙圈。在此总结一下似然函数和相关概念，以便查看，反复理解。
1. 似然函数的概念
Likelihood Function是统计学和概率论中的核心概念，用于量化在给定模型参数下，观测数据出现的可能性。它与概率函数形式相似，但解释和应用截然不同。
直观理解
-
概率（Probability）：
在已知参数 θ 时，描述未来观测数据X 的分布，记为P(X∣θ)。
例子：已知硬币正面概率θ=0.6，预测掷3次出现2次正面的概率P(X=2∣θ=0.6)。 -
似然（Likelihood）：
在已知数据X 时，评估不同参数θ 解释该数据的合理性，记为L(θ∣X)。
例子：观察到3次掷硬币出现2次正面，似然函数L(θ∣X=2) 比较 θ=0.5 和 θ=0.7 哪个更可能生成该数据。
数学定义
理解常见误区
-
误区1：似然函数是概率分布。
正解：似然函数对参数θ 未归一化，不能直接视为概率分布。 -
误区2：似然函数值越大，参数越“正确”。
正解：似然仅反映相对合理性，需结合先验（贝叶斯）或样本量（频率派）综合判断。
似然函数应用场景
-
参数估计：MLE是机器学习模型（如逻辑回归、高斯混合模型）的基础。
-
假设检验：似然比检验（Likelihood Ratio Test）比较模型优劣。
-
模型选择：通过AIC/BIC（基于似然）权衡模型复杂度与拟合度。
2. 共轭分布
在概率统计和贝叶斯分析中，共轭分布（Conjugate Prior）是指当先验分布与似然函数属于同一分布族时，后验分布也属于该族，从而简化计算。
共轭分布的数学表达
若似然函数P(X∣θ)的先验分布P(θ) 与后验分布P(θ∣X) 属于同一分布族，则称P(θ) 是P(X∣θ) 的共轭先验。共轭先验有以下优点：
-
解析解易得，避免复杂的数值积分。
-
超参数更新规则直观（如计数叠加）。
常见似然分布与共轭分布对照表
应用示例
非共轭分布的处理
当似然函数无共轭先验时（如Logistic回归），需采用：
-
数值方法：MCMC（如Stan、PyMC3）。
-
近似方法：变分推断（VI）、拉普拉斯近似。
共轭分布的选择原则
-
计算简便性：优先选择共轭先验（如有）。
-
先验信息表达：超参数应反映已有知识（如Beta(α,β)中α/β表示伪计数）。
-
后验敏感性分析：验证不同超参数对结果的影响。
总结
共轭分布通过统一分布族和解析更新，为贝叶斯推断提供了高效工具。