马尔可夫链的蒙特卡洛模拟？
可以将异或看成是不考虑进位的加法：0 + 0 = 0, 0 + 1 = 1, 1 + 1 = 0
http://stats.stackexchange.com/questions/41317/how-to-show-operations-on-two-random-variables-each-bernoulli-are-dependent-bu 这里举了一个例子，设X, Y是互相独立的服从0-1分布的两个随机变量，且P(X=1)=P(Y=1)=0.5，那么X+Y和|X-Y|就是两个不相关，却不独立的两个随机变量。
In [2]:
%pylab inline
import numpy as np
points = np.array([[0,0], [1,1], [1,1], [2, 0]])
plt.scatter(points[:, 0])
Out[2]:
为什么要除n？
对称阵的不同特征值对应的特征向量相互正交，那么也就是说对称阵的单位特征向量组成的矩阵是正交阵。
正交阵:$Q^T * Q = I$，也就是说每一个列向量，自己乘自己，是1，和别人乘，是0。
另外还有对角化的关系
期望是一阶原点矩，方差是二阶中心矩。
In [5]:
import numpy as np
# rv is short for random variable
def cal_stats(rv):
# if not rv:
# raise ValueError("None")
length = len(rv)
if length == 0:
raise ValueError("length of 0")
mean = 0
variance = 0
# third order origin moment, 三阶原点矩
third_order = 0
two_order = 0
fourth_order = 0
for x in rv:
mean += x
two_order += x ** 2
third_order += x ** 3
fourth_order += x ** 4
else:
mean /= length
two_order /= length
third_order /= length
fourth_order /= length
mean = mean
variance = two_order - mean ** 2
skewness = (third_order - 3 * mean * variance - mean ** 3) / variance ** 1.5
kurtosis = fourth_order / variance ** 2 - 3
return (mean, variance, skewness, kurtosis)
# randn sample from normal distribution.
data = []
data.append(np.random.randn(10000))
data.append(2 *np.random.randn(10000))
data.append([x for x in data[0] if x > -0.5])
data.append(np.random.uniform(0, 4, 10000))
stats = []
for l in data:
stats.append(cal_stats(l))
template = r'$\mu={0:.2f},\ \sigma={1:.2f},\ skewness={2:.2f},\ kurt={3:.2f}$'
infos = []
for stat in stats:
infos.append(template.format(*stat))
plt.text(1, 0.38, infos[0], bbox=dict(facecolor='red', alpha=0.25))
plt.text(1, 0.35, infos[1], bbox=dict(facecolor='red', alpha=0.25))
plt.hist(data[0], 50, normed=True, facecolor='r', alpha=0.9)
plt.hist(data[1], 80, normed=True, facecolor='g', alpha=0.8)
Out[5]:
余弦相似度和皮尔逊相关系数几乎就是一个东西？
由贝叶斯公式引出极大似然估计，这一页还是很精华的。 所以极大似然估计的假设就是各个参数取值的先验概率相等，服从$(-\infty, \infty)$上的均匀分布
分别求偏导的行为很自然，但理由呢？ 在对一个变量（x）求偏导的时候，其他的变量（比如y）会出现在其求导的结果中，也就是对其他变量做出了限制。
这里的5相当于超参数，超参数可以解释成无法通过样本来求得的参数。
在r取某个区间范围内，幂律分布（长尾分布）没有均值和方差（应该是说均值和方差为无穷大吧）。 推荐系统往往会谈到幂律分布?
In [ ]: