Beta分布Dirichlet分布
目录
- Beta分布
- Dirichlet分布
- Beta分布&Dirichlet分布
- 从Dirichlet分布生成Beta样本
- Beta分布&Dirichlet分布应用
Beta分布
Beta分布是定义在区间 [ 0 , 1 ] [0, 1] [0,1]上的连续概率分布,通常用于模拟概率或比例的随机变量。Beta分布的概率密度函数(PDF)如下:
f ( x ; α , β ) = Γ ( α + β ) Γ ( α ) Γ ( β ) x α − 1 ( 1 − x ) β − 1 f(x; \alpha, \beta) = \frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}x^{\alpha - 1}(1 - x)^{\beta - 1} f(x;α,β)=Γ(α)Γ(β)Γ(α+β)xα−1(1−x)β−1其中:
- x x x是随机变量,取值范围在 [ 0 , 1 ] [0, 1] [0,1] 之间。
- α \alpha α和 β \beta β是形状参数,它们都是正实数 ( α > 0 , β > 0 ) ( \alpha > 0, \beta > 0 ) (α>0,β>0)。
- Γ \Gamma Γ是伽马函数,它是阶乘函数在实数与复数域上的扩展。
Beta分布的概率密度函数可以进一步简化为:
f ( x ; α , β ) = x α − 1 ( 1 − x ) β − 1 B ( α , β ) f(x; \alpha, \beta) = \frac{x^{\alpha - 1}(1 - x)^{\beta - 1}}{B(\alpha, \beta)} f(x;α,β)=B(α,β)xα−1(1−x)β−1
其中 ( B(\alpha, \beta) ) 是Beta函数,定义为:
B ( α , β ) = Γ ( α ) Γ ( β ) Γ ( α + β ) B(\alpha, \beta) = \frac{\Gamma(\alpha)\Gamma(\beta)}{\Gamma(\alpha + \beta)} B(α,β)=Γ(α+β)Γ(α)Γ(β)
Beta函数是两个伽马函数的比值,它确保了概率密度函数的积分总和为1。
Dirichlet分布
Dirichlet分布是定义在K维实数向量上的多项分布的共轭先验,通常用于模拟多类别分布。Dirichlet分布的概率密度函数(PDF)如下:
f ( x ; α ) = Γ ( ∑ i = 1 K α i ) ∏ i = 1 K Γ ( α i ) ∏ i = 1 K x i α i − 1 f(\mathbf{x}; \boldsymbol{\alpha}) = \frac{\Gamma\left(\sum_{i=1}^K \alpha_i\right)}{\prod_{i=1}^K \Gamma(\alpha_i)} \prod_{i=1}^K x_i^{\alpha_i - 1} f(x;α)=∏i=1KΓ(αi)Γ(∑i=1Kαi)i=1∏Kxiαi−1
其中:
- x = ( x 1 , x 2 , … , x K ) \mathbf{x} = (x_1, x_2, \ldots, x_K) x=(x1,x2,…,xK)是随机变量,每个 x i x_i xi取值范围在 [ 0 , 1 ] [0, 1] [0,1] 之间,并且 ∑ i = 1 K x i = 1 \sum_{i=1}^K x_i = 1 ∑i=1Kxi=1。
- α = ( α 1 , α 2 , … , α K ) \boldsymbol{\alpha} = (\alpha_1, \alpha_2, \ldots, \alpha_K) α=(α1,α2,…,αK)是形状参数,每个 α i \alpha_i αi都是正实数 ( α i > 0 ) ( \alpha_i > 0 ) (αi>0)。
- Γ \Gamma Γ是伽马函数。
Dirichlet分布的概率密度函数可以进一步简化为:
f ( x ; α ) = ∏ i = 1 K x i α i − 1 Dir ( α ) f(\mathbf{x}; \boldsymbol{\alpha}) = \frac{\prod_{i=1}^K x_i^{\alpha_i - 1}}{\text{Dir}(\boldsymbol{\alpha})} f(x;α)=Dir(α)∏i=1Kxiαi−1
其中 ( \text{Dir}(\boldsymbol{\alpha}) ) 是Dirichlet函数,定义为:
Dir ( α ) = Γ ( ∑ i = 1 K α i ) ∏ i = 1 K Γ ( α i ) \text{Dir}(\boldsymbol{\alpha}) = \frac{\Gamma\left(\sum_{i=1}^K \alpha_i\right)}{\prod_{i=1}^K \Gamma(\alpha_i)} Dir(α)=∏i=1KΓ(αi)Γ(∑i=1Kαi)
Dirichlet函数确保了概率密度函数的积分总和为1。
Beta分布&Dirichlet分布
-
Beta分布和Dirichlet分布的概率密度函数都涉及到了伽马函数 ( Γ ) (\Gamma) (Γ)。这种函数在数学中非常重要,特别是在处理与概率和统计相关的问题时。
-
两者的概率密度函数都具有幂函数的形式,其中Beta分布是一维的,而Dirichlet分布是多维的。Dirichlet分布可以看作是Beta分布的多维推广。
从Dirichlet分布生成Beta样本
- Dirichlet分布的一个有趣性质是,它可以用于生成Beta分布的样本。具体来说,如果我们从Dirichlet分布 Dir ( α ) \text{Dir}(\boldsymbol{\alpha}) Dir(α) 中生成一个样本 x = ( x 1 , x 2 , … , x K ) \mathbf{x} = (x_1, x_2, \ldots, x_K) x=(x1,x2,…,xK),那么对于任意 i i i 和 j j j ( i ≠ j ) (i \neq j) (i=j),比值 x i x i + x j \frac{x_i}{x_i + x_j} xi+xjxi服从参数为 α i \alpha_i αi和 α j \alpha_j αj的Beta分布。
Beta分布&Dirichlet分布应用
- Beta分布:常用于贝叶斯统计中,作为二项分布的共轭先验。它也可以用于建模概率或比例,例如在信用评分、市场研究等领域。
- Dirichlet分布:常用于贝叶斯统计中,作为多项分布的共轭先验。它也可以用于建模多类别分布,例如在主题模型、聚类分析等领域。
这些分布的概率密度函数在贝叶斯统计和机器学习中非常重要,因为它们提供了一种自然的方式来表示和处理概率分布。