01 神经网络简介

1 单个神经元如何感知信息

1.1 激活函数

感知信息的基本条件是对不同的输入能够区分
$$\sigma (x)=\{\begin{array}{ll}1& x\ge T\\ 0& x<T\end{array},$$

以身高提取器来理解激活函数$\sigma (x)$：

• 当小于160cm，信号接收器接收到反射信号；
• 当大于等于160cm，信号接收器接收不到反射信号。

1.2 权重

一个预测股票升降的例子：假设A 有两个朋友，B 和C。A 自己有一个判断值$a_0$，同时接收到了B和C的信息，分别记为b和c。因此，A接收到的信息为：
$$a={\lambda }_{1}b+{\lambda }_{2}c+a_0$$
如果B是一个经济学家，而C 是一个普通人，则有，${\lambda }_1$>${\lambda }_2$>0。
我们可以把这类收集信息的方式推广到一般的形式：

$$\begin{array}{l}{w}_1{x}_1+\cdots +w_d{x}_d+b\\ =\left(w_1,\cdots ,w_d\right)\cdot \left(x_1,\cdots ,x_d\right)+b\\ ={\mathbf{w}}^T\mathbf{x}+b\end{array}$$
单个神经元的输出为：
$$\sigma ({\mathbf{w}}^T\mathbf{x}+b)$$
$\sigma (\cdot )$通常称为激活函数。

一个预测股票升降的例子：假设A 有两个朋友，B 和C。A 自己有一个判断值$a_0$，同时接收到了B和C的信息，分别记为b和c。因此，A接收到的信息为：
$$a={\lambda }_{1}b+{\lambda }_{2}c+a_0$$
如果B是一个经济学家，而C 是一个普通人，则有，${\lambda }_1$>${\lambda }_2$>0。

2 单层神经网络

简单地把多个神经元堆在一起，我们就可以得到单层神经网络：

神经网络的高维输出：

参数的矩阵形式：

∘ 表示对每个元素作用：

2.1 设计功能

考虑输入是两维的，x1,x2∈{0,1}2x_1,x_2∈\{0,1\}^2x1​,x2​∈{0,1}2：
$$\sigma (x)=\{\begin{array}{ll}1& x_1+x_2\ge T\\ 0& x_1+x_2<T\end{array},$$

• AND: T=2；即11为1，00，01，10都是0；
• Or: T=1；即00为0，01，10，11都是1；
• Not: T=0；$\sigma (x)=-x$，这里还没理解到是如何运作的？

2.2 局限性

单层神经网络是无法做好XOR问题：

3 多层神经网络

多层神经网络是在一层神经网络的基础上堆叠起来的。

3.1 解XOR问题

• 假设，$y=\sigma (\frac{h_1+h_2}{2})$
• 代入(0,0), (1,1)，则$y=\sigma (1)=1$。
• 代入(1,0), (0,1)，则$y=\sigma (1/2)=0$。

性质

• 两层网络具有万有逼近定理（Cybenko 1989）：激活函数是非多项式的非线性函数
• 多项式函数是否有万有逼近定理？
• 为什么激活函数不能是多项式函数？
• 万有逼近定理对实际问题有什么帮助？
• 万有逼近定理是否足够让我们使用神经网络？
• 多层神经网络只是众多机器学习方法中的一种！