神经网络之权重初始化

创建了神经⽹络后，我们需要进⾏权重和偏置的初始化。

结果表明，我们可以⽐使⽤归⼀化的⾼斯分布做得更好。为什么？假设我们使⽤⼀个有⼤量 输⼊神经元的⽹络，⽐如说1000个。假设，我们已经使⽤归⼀化的⾼斯分布初始化了连接第 ⼀个隐藏层的权重。现在我将注意⼒集中在这⼀层的连接权重上，忽略⽹络其他部分：

                                

-------------------to do----------------------------