- 大脑的基本计算单位是神经元（neuron）。
- 人类的神经系统中大约有860亿个神经元，它们被大约10^14-10^15个突触（synapses）连接起来。
- 下面图表的左边展示了一个生物学的神经元，右边展示了一个常用的数学模型。
- 每个神经元都从它的树突获得输入信号，然后沿着它唯一的轴突（axon）产生输出信号。
- 轴突在末端会逐渐分枝，通过突触和其他神经元的树突相连。
该模型如何工作
- 在神经元的计算模型中，沿着轴突传播的信号（比如x0）将基于突触的突触强度（比如w0），与其他神经元的树突进行乘法交互（比如w0x0）。
- 其观点是，突触的强度（也就是权重w），是可学习的且可以控制一个神经元对于另一个神经元的影响强度（还可以控制影响方向：使其兴奋（正权重）或使其抑制（负权重））
- 在基本模型中，树突将信号传递到细胞体，信号在细胞体中相加。如果最终之和高于某个阈值，那么神经元将会激活，向其轴突输出一个峰值信号。
- 基于这个速率编码的观点，将神经元的激活率建模为激活函数（activation function）f，它表达了轴突上激活信号的频率。
- 由于历史原因，激活函数常常选择使用sigmoid函数σ，该函数输入实数值（求和后的信号强度），然后将输入值压缩到0-1之间。
