课程地址: https://class.coursera.org/neuralnets-2012-001/lecture/

Contents:

Why do we need machine learning

What are neural networks?

Lecture 1c - Some simple models of neurons

Lecture 1d - A simple example of learning

Lecture 1e - Three types of learning

1

2

那么，欺诈检测究竟是怎么做的，用机器学习和神经网络的方法分别怎么做。

3

4

5

竟特意拿出果蝇来举例。MNIST，Hinton读作"艾姆尼思特"，懒得打音标了。

6

7

We now have neural nets with approaching 100 million parameters in them that can recoginze 1000 differ...

8

9

10

11

这一章并不是很明白，不过反正不是重点。为什么我在这里想到了隐马和维特比算法？就是在求最有可能的序列。

12

uses many layers of binary neurons. binary neuron就是输出只有两个分类的意思吧。

13

14

这个视频讲生物的神经网络。

15

16

名词解释：

axon：轴突

dendritic tree：树突

axon hillock：轴丘

synapse: 突触

参考百度百科

轴突发送信号，树突收集信号，突触就是轴突和树突传递信号的地方，轴丘我的理解是轴突上产生信号的地方。

17

高中生物的内容了，就是讲的传递的过程。

18

突触具有适应性，学习的过程就是在改变突触。

19

总共有$10 ^ {15}$个weights

20

这里讲到了那个经常被提起的例子，对于原本属于听觉的脑区，切断与耳朵的输入，反而加上视觉的输入，最终，这个脑区长成了和视觉神经相同的样子。描述可能不太准确，但大概就是这个意思。

21

22

扯到科学方法论了，不过确实很有道理。

23

24

25

26

27

28

熟悉熟悉这几个值

29

注意和前面sigmoid的区别

30

31

32

33

现在是随机的weights，后面就开始训练了。

34

35

36

37

38

39

7和9的下半部分并不明显，说明训练的模型主要依靠上半部分来进行区分。

40

41

没有一个模版template能够fit绿框中的2，却不fit红框中的3

42

课程前半段讲Supervised learning, 后半段讲Unsupervised learning, 不会讲Reinforcement learning

43

44

45

46

这里讲到reinforment learning 一般只有几十至几千个参数，因为a scalar reward does not supply much information

47

48

PCA是一种线形方法，假设有一个流形，这个流形恰好是高维中的一个平面？