全0初始化/全1初始化相关

神经网络对称性：同一层的多个神经元如果初始化相同 → 永远相同（对称性问题）

1. 神经网络可以全0全1初始化吗

        不可以，全0或全1初始化，会由于神经网络的对称性，导致每层的神经元都退化成1个，表达能力坍塌

具体来说，由于每层神经元的输入都相同，如果参数初始化为相同的值，那么这层所有神经元的输出都相同，反向传播时，由于loss相同，链式法则从后往前求导的一大坨都相同，输出相同，那么梯度相同，参数又被更新成相同的值，所以这层的神经元的输出梯度会永远相同，退化成1个神经元

2. LR模型中的w可以全0初始化吗？

        可以，因为LR相当于是只有一个神经元的神经网络，没有别的神经元和他对称

3. 多层和单层的区别？

        其实多层和单层没有什么区别，只是每层的神经元个数是多个，且参数初始化又相同的话，就会由于对称性退化成1个神经元，表达能力受限