怎么理解神经网络中的激活函数hard sigmoid？

Hard Sigmoid是简单版本(非光滑)的Sigmoid，其作用就是用三个线段来拟合整个Sigmoid函数。

表达式是分段的。

如果$x<-2.5$

$$\text{HardSigmoid}(x)=0$$

如果$-2.5\leq x\leq 2.5$

$$\text{HardSigmoid}(x)=0.2x+0.5$$

如果$x>2.5$

$$\text{HardSigmoid}(x)=1$$

从上图可以很明显地看出，hard sigmoid的非光滑性，但是同时两者又非常接近。

与sigmoid相比，hard sigmoid的好处就是计算量小了，毕竟不用求e的幂次。