布朗运动(Brownian Motion):随机世界的舞者
布朗运动(Brownian Motion):随机世界的舞者
在随机微分方程(SDE)和生成模型(如扩散模型)的研究中,布朗运动(Brownian Motion)是一个绕不开的核心概念。它不仅在数学和物理学中有着深远意义,还为现代机器学习中的随机过程提供了理论基础。本篇博客将以直观的语言,面向具有一定深度学习背景的研究者,介绍布朗运动的定义、特性及其与 SDE 的联系,帮助你理解这个“随机世界的舞者”。
什么是布朗运动?
布朗运动最初由植物学家罗伯特·布朗(Robert Brown)在 1827 年观察到:悬浮在水中的花粉颗粒会无规则地运动。后来,爱因斯坦在 1905 年用统计物理学解释了这一现象,认为它是水分子随机碰撞的结果。数学上,布朗运动被定义为一种连续时间的随机过程,通常记作 ( W ( t ) W(t) W(t) ) 或 ( B ( t ) B(t) B(t) ),也称为维纳过程(Wiener Process)。
简单来说,布朗运动就像一个“醉汉走路”:每一步的方向和距离都是随机的,路径看起来杂乱无章,但在统计上却有规律可循。
布朗运动的数学定义
布朗运动 ( W ( t ) W(t) W(t) )(( t ≥ 0 t \geq 0 t≥0 ))是一个随机过程,满足以下性质:
- 初始条件:
W ( 0 ) = 0 W(0) = 0 W(0)=0
起点固定在原点。 - 独立增量:
对于任意 ( 0 ≤ s < t 0 \leq s < t 0≤s<t ),增量 ( W ( t ) − W ( s ) W(t) - W(s) W(t)−W(s) ) 与过去的路径 ( W ( u ) W(u) W(u) )(( u ≤ s u \leq s u≤s ))独立。 - 正态增量:
增量 ( W ( t ) − W ( s ) ∼ N ( 0 , t − s ) W(t) - W(s) \sim \mathcal{N}(0, t - s) W(t)−W(s)∼N(0,t−s) ),均值为 0,方差与时间间隔成正比。 - 路径连续:
( W ( t ) W(t) W(t) ) 是时间 ( t t t ) 的连续函数(但不可导,见后文)。
直观理解
- 随机步长:从 ( t = s t = s t=s ) 到 ( t = s + Δ t t = s + \Delta t t=s+Δt ),( W ( t ) W(t) W(t) ) 的变化像从正态分布 ( N ( 0 , Δ t ) \mathcal{N}(0, \Delta t) N(0,Δt) ) 中采样。
- 无记忆性:下一步往哪走,完全不依赖之前的路径。
- 抖动路径:路径连续但充满“锯齿”,放大后依然粗糙。
布朗运动与白噪声
在 SDE 中,布朗运动的“导数”常被提及,但严格来说 (
W
(
t
)
W(t)
W(t) ) 不可导。为什么?因为它的路径过于“崎岖”,在任何微小时间间隔内变化都很大,导数无定义。数学家用白噪声 (
ξ
(
t
)
\xi(t)
ξ(t)) 来表示这种“导数”的概念:
d
W
(
t
)
d
t
=
ξ
(
t
)
,
ξ
(
t
)
∼
N
(
0
,
I
)
\frac{dW(t)}{dt} = \xi(t), \quad \xi(t) \sim \mathcal{N}(0, I)
dtdW(t)=ξ(t),ξ(t)∼N(0,I)
- 白噪声 ( ξ ( t ) \xi(t) ξ(t)):均值为 0,方差无限大的随机扰动(理想化概念)。
- 微分形式:( d W ( t ) = ξ ( t ) d t dW(t) = \xi(t) dt dW(t)=ξ(t)dt ),表示布朗运动在 ( d t dt dt ) 时间内的微小增量。
实际上,白噪声是布朗运动增量的极限形式,而 ( d W ( t ) dW(t) dW(t)) 是布朗运动的微分记号。
布朗运动在 SDE 中的角色
随机微分方程(SDE)是 ODE 的随机扩展,形式如:
d
x
(
t
)
=
f
(
t
,
x
)
d
t
+
g
(
t
,
x
)
d
W
(
t
)
dx(t) = f(t, x) dt + g(t, x) dW(t)
dx(t)=f(t,x)dt+g(t,x)dW(t)
- ( f ( t , x ) d t f(t, x) dt f(t,x)dt ):确定性漂移项,描述系统的趋势。
- ( g ( t , x ) d W ( t ) g(t, x) dW(t) g(t,x)dW(t) ):随机扩散项,由布朗运动驱动。
积分形式
解 SDE 时,写成积分形式:
x
(
t
)
=
x
(
0
)
+
∫
0
t
f
(
s
,
x
(
s
)
)
d
s
+
∫
0
t
g
(
s
,
x
(
s
)
)
d
W
(
s
)
x(t) = x(0) + \int_0^t f(s, x(s)) ds + \int_0^t g(s, x(s)) dW(s)
x(t)=x(0)+∫0tf(s,x(s))ds+∫0tg(s,x(s))dW(s)
- 第一项:普通的黎曼积分。
- 第二项:伊藤积分(Ito Integral,可以参考笔者的另一篇博客:伊藤积分(Ito Integral):随机世界中的积分魔法),处理随机项 ( d W ( s ) dW(s) dW(s))。
由于 ( W ( t ) W(t) W(t) ) 的随机性,( x ( t ) x(t) x(t) ) 不再是确定的函数,而是一个随机过程,每条路径对应一个可能的 ( W ( t ) W(t) W(t) ) 实现。
例子:随机行走
假设 (
d
x
(
t
)
=
σ
d
W
(
t
)
dx(t) = \sigma dW(t)
dx(t)=σdW(t) )(无漂移),解为:
x
(
t
)
=
x
(
0
)
+
σ
W
(
t
)
x(t) = x(0) + \sigma W(t)
x(t)=x(0)+σW(t)
这正是布朗运动的缩放版本,路径随机波动,方差随时间 (
t
t
t ) 线性增长。
布朗运动的特性与意义
-
不可导性:
( W ( t ) W(t) W(t) ) 的路径是连续但无处可微的,分形维度约为 1.5,比直线(1维)更“粗糙”。 -
马尔可夫性:
未来的 ( W ( t ) W(t) W(t) ) 只依赖当前值,不依赖历史路径。 -
自相似性:
放大或缩小时间尺度后,布朗运动的统计性质不变。
这些特性使布朗运动成为随机建模的基石。
在深度学习中的应用
布朗运动在现代机器学习中无处不在,尤其在生成模型中:
- 扩散模型(如 DDPM):
- 前向过程添加噪声:( x t = α ‾ t x 0 + 1 − α ‾ t ϵ x_t = \sqrt{\overline{\alpha}_t} x_0 + \sqrt{1 - \overline{\alpha}_t} \epsilon xt=αtx0+1−αtϵ ),( ϵ \epsilon ϵ) 是高斯噪声,类似布朗运动的增量。
- 逆过程用 SDE 表示:( d x = f ( x , t ) d t + g ( t ) d W ( t ) dx = f(x, t) dt + g(t) dW(t) dx=f(x,t)dt+g(t)dW(t) ),从噪声恢复数据。
- Langevin 动力学:
- NCSN 的采样公式 ( x t + 1 = x t + α s θ ( x t ) + α z t x_{t+1} = x_t + \alpha s_\theta(x_t) + \sqrt{\alpha} z_t xt+1=xt+αsθ(xt)+αzt ) 中,( z t z_t zt ) 是布朗运动的离散模拟。
总结
布朗运动是随机微分方程的灵魂,它将确定性的 ODE 扩展为随机世界的基本元素。从物理学的花粉抖动到金融的股价波动,再到扩散模型的噪声生成,布朗运动以其独特的随机性和连续性贯穿其中。对于深度学习研究者来说,理解布朗运动不仅能加深对 SDE 的认识,还能为生成模型的理论和实现提供直观洞察。
注:本文以直观解释为主,未涉及伊藤积分的严格定义,适合快速入门。
后记
2025年3月8日20点49分于上海,在Grok 3大模型辅助下完成。