1

2

3

4

5

6

7

8

9

10

函数求导可以用函数值来表达，这是对激活函数的要求。f(z)会在forward propagation中进行计算，这样可以再back propagation时使用之前算过的结果。

11

12

CV中默认使用relu作为激活函数。

13

14

15

16

17

18

full batch除了计算慢，还容易陷入local optma.

19

20

21

22

23

Socher说最后一条特别适用于Sigmoid为激活函数的网络。

24

25

26

27

28

29

30

31