机器学习常见激活函数

Sigmoid 函数

        常用于二分类问题

         优点：

        函数的值域在(0,1)之间，可将任意实数映射到0到1的区间，常被用于将输出解释为概率。

        将很大范围内的输入特征值压缩到0~1之间，使得在深层网络中可以保持数据幅度不会出现较大的变化，而Relu函数则不会对数据的幅度作出约束；

        缺点：

        当输入非常大或非常小的时候，输出基本为常数，即变化非常小，进而导致梯度接近于0；

        梯度可能会过早消失，进而导致收敛速度较慢，例如与Tanh函数相比，其就比sigmoid函数收敛更快，是因为其梯度消失问题较sigmoid函数要轻一些；

softmax

        Softmax一般用来作为神经网络的最后一层，用于多分类问题的输出。其本质是一种激活函数，将一个数值向量归一化为一个概率分布向量，且各个概率之和为1。

Tanh

 

Relu（修正线性单元）