激活函数
Activation Function
Sigmoid（Logistic）
Sigmoid（Logistic）
-
数学描述
σ(x)=11+exp(−x) \sigma(x)=\frac{1}{1+\exp (-x)} σ(x)=1+exp(−x)1
-
由于Sigmoid函数的特性，一些不适当的参数初始化会造成神经元过饱和（Fully Saturated），使Sigmoid的函数值过于趋近两端，造成梯度消失
Tanh
Tanh
-
数学描述
tanh(x)=exp(x)−exp(−x)exp(x)+exp(−x) \tanh (x)=\frac{\exp (x)-\exp (-x)}{\exp (x)+\exp (-x)} tanh(x)=exp(x)+exp(−x)exp(x)−exp(−x)
-
由于Tanh函数的特性，一些不适当的参数初始化会造成神经元过饱和（Fully Saturated），使Tanh的函数值过于趋近两端，造成梯度消失
-
Tanh函数的输出是零中心化的（Zero-Centered），而Logistic函数的输出恒大于 0．非零中心化的输出会使得其后一层的神经元的输入发生偏置偏移（Bias Shift），并进一步使得梯度下降的收敛速度变慢
Hard-Logistic & Hard-Tanh
Hard-Logistic & Hard-Tanh
-
基于泰勒展开逼近原函数值
hard-logistic (x)={ 1gl(x)≥1gl0<gl(x)<10gl(x)≤0=max(min(gl(x),1),0)=max(min(0.25x+0.5,1),0). \begin{aligned} \text { hard-logistic }(x) &= \begin{cases}1 & g_{l}(x) \geq 1 \\ g_{l} & 0<g_{l}(x)<1 \\ 0 & g_{l}(x) \leq 0\end{cases} \\ &=\max \left(\min \left(g_{l}(x), 1\right), 0\right) \\ &=\max (\min (0.25 x+0.5,1), 0) . \end{aligned} hard-logistic (x)=⎩ ⎨ ⎧1gl0gl(x)≥10<gl(x)<1gl(x)
扫一扫
3399
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
