活性化関数

$y=\begin{cases}1 & ( x \gt 0 ) \\-1 & ( x \leqq 0 )\end{cases}$



In [10]:

    
x = np.arange(-5.0, 5.0, 0.1)
y = np.array(x > 0, dtype=np.int)
plt.plot(x, y)
plt.show()

$y = \frac{1}{1 + exp(-x)}$



In [8]:

    
x = np.arange(-5.0, 5.0, 0.1)
y = 1 / (1 + np.exp(-x))
plt.plot(x, y)
plt.show()

$y=\begin{cases}x & ( x \gt 0 ) \\ 0 & ( x \leqq 0 ) \end{cases}$



In [17]:

    
x = np.arange(-5.0, 5.0, 0.1)
y = np.maximum(0, x)
plt.plot(x, y)
plt.show()