活性化関数

ステップ関数

$y=\begin{cases}1 & ( x \gt 0 ) \\-1 & ( x \leqq 0 )\end{cases}$


In [10]:
x = np.arange(-5.0, 5.0, 0.1)
y = np.array(x > 0, dtype=np.int)
plt.plot(x, y)
plt.show()


シグモイド関数

$y = \frac{1}{1 + exp(-x)}$


In [8]:
x = np.arange(-5.0, 5.0, 0.1)
y = 1 / (1 + np.exp(-x))
plt.plot(x, y)
plt.show()


ReLU関数

$y=\begin{cases}x & ( x \gt 0 ) \\ 0 & ( x \leqq 0 ) \end{cases}$


In [17]:
x = np.arange(-5.0, 5.0, 0.1)
y = np.maximum(0, x)
plt.plot(x, y)
plt.show()