10.5 傅里叶级数：用线性代数研究函数

一、有限维到无限维

本节将会从有限维空间转到无限维空间，将会解释无限维空间中的线性代数，并证明以前的大部分结论仍然适用。首先，回顾一下向量、点积和线性组合，我们会先将这些基本定义推广到无限维的情形 —— 剩下的结果自然就可以得出了。
向量有无穷多个分量意味着什么呢？下面有两种答案，都很好：

1. 向量是无限长的：$\mathbf{v}=(v_1,v_2,v_3,\cdots )$，如 $(1,\frac{1}{2},\frac{1}{4},\cdots )$.
2. 向量是一个函数 $f(x)$，如 $\mathbf{v}=\sin x$.

这两种定义我们都会使用，傅里叶级数可以将它们联系起来。
有了向量的定义后就是点积，两个无限维向量 $(v_1,v_2,v_3,\cdots )$ 和 $(w_1,w_2,w_3,\cdots )$ 的自然点积是一个无穷级数：

$$点积\mathbf{v}\cdot \mathbf{w}=v_1{w}_1+v_2{w}_2+v_3{w}_3+\cdots (\mathrm{10.5.1})$$

这带来了一个新的问题，而有限维空间 ${\text{R}}^n$ 中的向量就绝对不会出现这样的问题。这个问题就是这个无穷级数的和是一个有限数吗？即这个级数收敛吗？这是有限和无限情形中的第一个也是最大的一个不同。
当 $\mathbf{v}=\mathbf{w}=(1,1,1,\cdots )$ 时，这个级数肯定不收敛，此时 $\mathbf{v}\cdot \mathbf{w}=1+1+1+\cdots$ 是无穷大。由于 $\mathbf{v}=\mathbf{w}$，我们实际上计算的是 $\mathbf{v}\cdot \mathbf{v}=||\mathbf{v}|{|}^2$，即向量长度的平方。向量 $(1,1,1,\cdots )$ 的长度是无穷大，我们不考虑这样的向量。由于现在是我们在制定规则，而我们不想要这样的向量，我们只考虑长度有限的向量：
定义：\kern 5pt 当且仅当向量 $\mathbf{v}=(v_1,v_2,v_3,\cdots )$ 和函数 $f(x)$ 的模 $||\mathbf{v}||$ 和 $||f||$ 是有限的，它们才在无限维的 “希尔伯特空间（Hilbert spaces）” 中：$$\begin{array}{ll}||\mathbf{v}|{|}^2=\mathbf{v}\cdot \mathbf{v}=v_1^2+v_2^2+v_3^2+\cdots & 一定是有限数\\ ||f|{|}^2=(f,f)={\int }_0^{2\pi }|f(x){|}^2\text{d}x& 一定是有限积分\end{array}$$【例1】向量 $\mathbf{v}=(1,\frac{1}{2},\frac{1}{4},\cdots )$ 在希尔伯特空间中，这是因为它长度是 $\frac{2}{\sqrt{3}}$. 这里计算中的几何级数的和为 $\frac{4}{3}$，$\mathbf{v}$ 的长度就是这个几何级数的平方根：$$长度的平方\mathbf{v}\cdot \mathbf{v}=1+\frac{1}{4}+\frac{1}{16}+\cdots =\frac{1}{1-\frac{1}{4}}=\frac{4}{3}$$问题：如果 $\mathbf{v}$ 和 $\mathbf{w}$ 的长度是有限的，那么它们的点积可以有多大？
答： 点积 $\mathbf{v}\cdot \mathbf{w}=v_1{w}_1+v_2{w}_2+v_3{w}_3+\cdots$ 仍然是一个有限数，我们可以安全的求点积。施瓦茨不等式仍然成立：

$$施瓦茨不等式\text{Schwarz inequality}|\mathbf{v}\cdot \mathbf{w}|\le ||\mathbf{v}||||\mathbf{w}||(\mathrm{10.5.2})$$

$\mathbf{v}\cdot \mathbf{w}$ 和 $||\mathbf{v}||||\mathbf{w}||$ 的比值仍然是 $\theta$（$\mathbf{v}$ 和 $\mathbf{w}$ 之间的夹角）的余弦值，即使在无限维空间中，$|\cos \theta |$ 也不会超过 $1$.
现在我们转到函数，它们也是 “向量”。定义在 $0\le x\le 2\pi$ 上的函数 $f(x),g(x),h(x),\cdots$ 空间某种意义上要比 ${\text{R}}^n$ 大。现在问题是 $f(x)$ 和 $g(x)$ 的点积是什么？$f(x)$ 的长度是多少？
这种连续情形的关键：用积分代替求和。$f(x)$ 和 $g(x)$ 的点积不再是无穷级数 $v_j$ 乘 $w_j$ 的和，而是 $f(x)$ 乘 $g(x)$ 的积分，将 “点” 变为带逗号的括号，并且将 “点积” 改为内积（inner product）：

定义$f(x)$ 和 $g(x)$ 的内积，$f(x)$ 的长度平方分别是：$$(f,g)={\int }_0^{2\pi }f(x)g(x)\text{d}x,||f|{|}^2={\int }_0^{2\pi }(f(x){)}^2\text{d}x(\mathrm{10.5.3})$$

函数定义的区间 $[0,2\pi ]$ 可以换成不同的区间，如 $[0,1]$ 或 $(-\infty ,+\infty )$，这里选择 $2\pi$ 是因为下面的例子是 $\sin x$ 和 $\cos x$.

【例2】$f(x)=\sin x$ 的长度来自于它和它自己的内积：$$(f,f)={\int }_0^{2\pi }(\sin x{)}^2\text{d}x=\pi .则\sin x的长度为\sqrt{\pi }.$$这是微积分中的一个标准的积分 —— 不是线性代数中的内容。我们将 ${\sin }^{2}x$ 写成 $\frac{1}{2}-\frac{1}{2}\cos 2x$，我们可以看到这个函数在平均值 $\frac{1}{2}$ 的上下波动，这个平均值乘上区间长度 $2\pi$ 就是答案 $\pi$.
更重要的是：$\sin x$ 和 $\cos x$ 在函数空间中正交：$(f,g)=0$$$内积为零(f,g)={\int }_0^{2\pi }\sin x\cos x\text{d}x={\int }_0^{2\pi }\frac{1}{2}\sin 2x\text{d}x=-\frac{1}{4}\cos 2x{|}_0^{2\pi }=0(\mathrm{10.5.4})$$这个零并非偶然，它在科学中非常重要。正交性不仅体现在 $\sin x$ 和 $\cos x$ 这两个函数上，还体现在包含正弦和余弦函数的无限序列中。这个序列包含：$\cos 0x（即1）,\sin x,\cos x,\sin 2x,\cos 2x,\sin 3x,\cos 3x,\cdots$，这个序列中的任意两个函数均正交。

二、傅里叶级数

函数 $f(x)$ 的傅里叶级数就是将其展开为正弦和余弦函数之和：

$$f(x)=a_0+a_1\cos x+b_1\sin x+a_2\cos 2x+b_2\cos 2x+\cdots (\mathrm{10.5.5})$$

这里有一组正交基！这个 “函数空间” 中的向量是正弦函数和余弦函数的线性组合。在区间 $x\in [2\pi ,4\pi ]$ 中，我们所考虑的函数都重复它们在 $x\in [0,2\pi ]$ 之间的行为，它们是 “周期的”，周期为 $2\pi$.
需要记住的是：这个函数列是无限的，傅里叶级数是一般是一个无穷级数。我们避免考虑向量 $\mathbf{v}=(1,1,1,\cdots )$ 是因为它的长度无限，现在我们也避免考虑如 $\frac{1}{2}+\cos x+\cos 2x+\cos 3x+\cdots$ 这样的函数，注：这个是 $\pi$ 乘上著名的德尔塔 delta 函数 $\delta (x)$，它在一个单点处是无限 “尖峰(spike)”，在 $x=0$ 处的高度 $\frac{1}{2}+1+1+\cdots$ 为无穷大，在 $0<x<2\pi$ 内所有的点，这个级数在某种平均值意义下的和为零。$\delta (x)$ 的积分为 $1$，但是 ${\int }_0^{2\pi }{\delta }^2(x)\text{d}x=+\infty$，所以 $\delta (x)$ 不在希尔伯特空间中。
使用傅里叶级数计算函数 $f(x)$ 的长度：$$\begin{array}{l}(f,f)={\int }_0^{2\pi }(a_0+a_1\cos x+b_1\sin x+a_2\cos 2x+b_2\sin 2x+\cdots {)}^2\text{d}x\\ ={\int }_0^{2\pi }(a_0^2+a_1^2{\cos }^{2}x+b_1^2{\sin }^{2}x+a_2^2{\cos }^{2}2x+b_2^2{\sin }^{2}2x+\cdots )\text{d}x\\ ||f|{|}^2=2\pi a_0^2+\pi (a_1^2+b_1^2+a_2^2+b_2^2+\cdots )(\mathrm{10.5.6})\end{array}$$上面从第一行到第二行利用了正交性，所有的如 $\cos x\cos 2x$ 这样的乘积的积分都为零，剩下的就是每个正弦和余弦平方的积分。第三行求出这些积分值，其中 $1^2$ 的积分是 $2\pi$，其它的函数的积分是 $\pi$，如果我们让它们分别除以它们自身的长度，这些函数就变为了标准正交基：$$\frac{1}{\sqrt{2\pi }},\frac{\cos x}{\sqrt{\pi }},\frac{\sin x}{\sqrt{\pi }},\frac{\cos 2x}{\sqrt{\pi }},\frac{\sin 2x}{\sqrt{\pi }},\cdots 是函数空间中的一组标准正交基$$这些都是单位向量，我们可以将它们分别和系数 $A_0,A_1,B_1,A_2,B_2,\cdots$ 组合起来，得到一个函数 $F(x)$，那么就可以去掉长度公式中的 $2\pi$ 和 $\pi$：$$函数长度=向量长度||F|{|}^2=(F,F)=A_0^2+A_1^2+B_1^2+A_2^2+B_2^2+\cdots (\mathrm{10.5.7})$$对于函数 $f(x)$ 和 $F(x)$ 有一个关键点：当组合系数向量恰好为有限长度时，函数长度有限。傅里叶级数给出了函数希尔伯特空间和向量希尔伯特空间的完美对应：函数在 $L^2$ 中，傅里叶系数在 ${\ell }^2$ 中。

当希尔伯特空间包含 $f(x)$ 的傅里叶系数向量 $\mathbf{v}=(a_0,a_1,b_1,a_2,b_2,\cdots )$ 时，函数空间恰好包含 $f(x)$. 它们都是有限长度。

【例3】假设 $f(x)$ 是一个 “方波函数（square wave）”，在区间 $x\in [0,\pi )$ 之间等于 $1$，在区间 $x\in [\pi ,2\pi )$ 之间等于 $-1$，永远重复 $+1$ 和 $-1$ 两个值。函数 $f(x)$ 是一个和正弦函数一样的奇函数，它所有的余弦系数都为零。它的傅里叶级数只包含正弦项：$$方波\text{Square wave}f(x)=\frac{4}{\pi }[\frac{\sin x}{1}+\frac{\sin 3x}{3}+\frac{\sin 5x}{5}+\cdots ].(\mathrm{10.5.8})$$这个函数的长度是 $\sqrt{2\pi }$，因为在每一点 $(f(x){)}^2$ 值等于 $(-1{)}^2$ 或 $(+1{)}^2$ 均为 $1$：$$||f|{|}^2={\int }_0^{2\pi }(f(x){)}^2\text{d}x={\int }_0^{2\pi }1\text{d}x=2\pi$$当 $x=0$ 时，正弦函数的值为零，则这个傅里叶级数也为零，这是 $-1$ 和 $+1$ 的平均数。当 $x=\frac{\pi }{2}$ 时的傅里叶级数也很有趣，这一点方波等于 $1$，式（10.5.8）中的正弦函数是在 $+1$ 和 $-1$ 之间交替取值：$$\pi 的公式1=\frac{4}{\pi }(1-\frac{1}{3}+\frac{1}{5}-\frac{1}{7}+\cdots )(\mathrm{10.5.9})$$两边同时乘以 $\pi$ 就可以得到这个著名数值 $\pi$ 的神奇公式 $\pi =4(1-\frac{1}{3}+\frac{1}{5}-\frac{1}{7}+\cdots )$.

三、傅里叶系数

我们要如何求得傅里叶级数中与余弦函数和正弦函数相乘的系数 $a_k$ 和 $b_k$ 呢？对于一个给定的函数 $f(x)$，我们要求得它的傅里叶系数（Fourier coefficients）$a_k$ 和 $b_k$：$$傅里叶级数\text{Fourier series}f(x)=a_0+a_1\cos x+b_1\sin x+a_2\cos 2x+b_2\sin 2x+\cdots$$求 $a_1$ 的方法是：两边同时乘以 $\cos x$，然后从 $0$ 到 $2\pi$ 积分。 关键是利用了正交性！右侧除了 ${\cos }^{2}x$ 项，其余项的积分都为零：$$对于系数a_1{\int }_0^{2\pi }f(x)\cos x\text{d}x={\int }_0^{2\pi }{a}_1{\cos }^{2}x\text{d}x=\pi a_1(\mathrm{10.5.10})$$两边同时除以 $\pi$，即可以求得 $a_1$. 要求其余的系数 $a_k$，就在傅里叶级数两边同时乘以 $\cos kx$，然后从 $0$ 到 $2\pi$ 积分，使用正交性，最终就只剩下 $a_k{\cos }^{2}kx$ 的积分了，这个积分是 $\pi a_k$，两边再同时除以 $\pi$：

$$a_k=\frac{1}{\pi }{\int }_0^{2\pi }f(x)\cos kx\text{d}x类似地b_k=\frac{1}{\pi }{\int }_0^{2\pi }f(x)\sin kx\text{d}x(\mathrm{10.5.11})$$

例外的只有 $a_0$，要求的这个系数，我们两边同时乘以 $\cos 0x=1$，它的积分是 $2\pi$：$$常数项\text{Constant term}{a}_0=\frac{1}{2\pi }{\int }_0^{2\pi }f(x)\cdot 1\text{d}x=f(x)的平均值(\mathrm{10.5.12})$$式（10.5.8）中方波函数的傅里叶系数就是用这些公式求出来的。在区间 $[0,2\pi ]$ 内，$f(x)\cos kx$ 的积分为零，当 $k$ 为奇数时，$f(x)\sin kx$ 的积分是 $\frac{4}{k}$.

四、与 ${\text{R}}^n$ 中线性代数的比较

无限维的希尔伯特空间非常像 $n$ 维空间 ${\text{R}}^n$. 假设非零向量 ${\mathbf{v}}_1,{\mathbf{v}}_2,\cdots ,{\mathbf{v}}_n$ 在 ${\text{R}}^n$ 中是正交的，我们可以将向量 $\mathbf{b}$（代替函数 $f(x)$）写成这些 ${\mathbf{v}}_i$ 的线性组合：$$有限正交级数\text{Finiteorthogonal series}\mathbf{b}=c_1{\mathbf{v}}_1+c_2{\mathbf{v}}_2+\cdots +c_n{\mathbf{v}}_n(\mathrm{10.5.13})$$两边同时左乘 ${\mathbf{v}}_1^T$，使用正交性，则有 ${\mathbf{v}}_1^T{\mathbf{v}}_2=0$，则只有 $c_1$ 项剩下：$$系数\text{Coefficient}{\mathbf{v}}_1^T\mathbf{b}=c_1{\mathbf{v}}_1^T{\mathbf{v}}_1+0+\cdots +0因此c_1=\frac{{\mathbf{v}}_1^T\mathbf{b}}{{\mathbf{v}}_1^T{\mathbf{v}}_1}(\mathrm{10.5.14})$$分母 ${\mathbf{v}}_1^T{\mathbf{v}}_1$ 是长度的平方，就如式（10.5.11）中的 $\pi$ 一样；分子 ${\mathbf{v}}_1^T\mathbf{b}$ 是内积，与 $\int f(x)\cos kx\text{d}x$ 一样。当基向量正交时，系数很容易求出。 我们在求每个系数时，就是求到基向量所在直线的一维投影。
如果基向量是标准正交的，会得到更好的公式。此时，我们会得到一个正交矩阵 $Q$，分母 ${\mathbf{v}}_k^T{\mathbf{v}}_k$ 都为 $1$，可以得到另一种形式的 $c_k={\mathbf{v}}_k^T\mathbf{b}$：$$\begin{gathered} 关于c_i的方程c_1{\mathbf{v}}_1+c_2{\mathbf{v}}_2+\cdots +c_n{\mathbf{v}}_n=\mathbf{b}或\left[\begin{array}{cccc}& & & \\ {\mathbf{v}}_1& {\mathbf{v}}_2& \cdots & {\mathbf{v}}_n\\ & & & \end{array}\right]\left[\begin{array}{c}{c}_1\\ c_2\\ \cdots \\ c_n\end{array}\right]=\mathbf{b} \\ Q\mathbf{c}=\mathbf{b}得\mathbf{c}=Q^T\mathbf{b}具体到每行就是c_k={\mathbf{q}}_k^T\mathbf{b} \end{gathered}$$傅里叶级数就像一个有无穷多个标准正交列的矩阵 $Q$，这些列是基函数 $1,\cos x,\sin x,\cos 2x,\sin 2x,\cdots$ 除以它们的长度，此时 $Q$ 是个 “无限正交矩阵”。它的逆矩阵就是它的转置 $Q^T$. 当我们做积分时，正交性会将级数的无穷多项简化为单独的一项。