欢迎来到机器学习工程师纳米学位的第三个项目！在这个notebook文件中，有些模板代码已经提供给你，但你还需要实现更多的功能来完成这个项目。除非有明确要求，你无须修改任何已给出的代码。以'练习'开始的标题表示接下来的代码部分中有你必须要实现的功能。每一部分都会有详细的指导，需要实现的部分也会在注释中以'TODO'标出。请仔细阅读所有的提示！
除了实现代码外，你还必须回答一些与项目和你的实现有关的问题。每一个需要你回答的问题都会以'问题 X'为标题。请仔细阅读每个问题，并且在问题后的'回答'文字框中写出完整的答案。我们将根据你对问题的回答和撰写代码所实现的功能来对你提交的项目进行评分。
提示：Code 和 Markdown 区域可通过 Shift + Enter 快捷键运行。此外，Markdown可以通过双击进入编辑模式。
在这个项目中，你将分析一个数据集的内在结构，这个数据集包含很多客户真对不同类型产品的年度采购额（用金额表示）。这个项目的任务之一是如何最好地描述一个批发商不同种类顾客之间的差异。这样做将能够使得批发商能够更好的组织他们的物流服务以满足每个客户的需求。
这个项目的数据集能够在UCI机器学习信息库中找到.因为这个项目的目的，分析将不会包括'Channel'和'Region'这两个特征——重点集中在6个记录的客户购买的产品类别上。
运行下面的的代码单元以载入整个客户数据集和一些这个项目需要的Python库。如果你的数据集载入成功，你将看到后面输出数据集的大小。
In [2]:
# 检查你的Python版本
from sys import version_info
if version_info.major != 2 and version_info.minor != 7:
raise Exception('请使用Python 2.7来完成此项目')
In [3]:
# 引入这个项目需要的库
import numpy as np
import pandas as pd
import visuals as vs
from IPython.display import display # 使得我们可以对DataFrame使用display()函数
# 设置以内联的形式显示matplotlib绘制的图片（在notebook中显示更美观）
%matplotlib inline
# 载入整个客户数据集
try:
data = pd.read_csv("customers.csv")
data.drop(['Region', 'Channel'], axis = 1, inplace = True)
print "Wholesale customers dataset has {} samples with {} features each.".format(*data.shape)
except:
print "Dataset could not be loaded. Is the dataset missing?"
In [4]:
# 显示数据集的一个描述
display(data.describe())
In [14]:
# TODO：从数据集中选择三个你希望抽样的数据点的索引
indices = [20,60,160]
# 为选择的样本建立一个DataFrame
samples = pd.DataFrame(data.loc[indices], columns = data.keys()).reset_index(drop = True)
print "Chosen samples of wholesale customers dataset:"
display(samples)
In [ ]:
In [10]:
Out[10]:
In [ ]:
In [ ]:
In [ ]:
In [ ]:
回答:
20:这个客户买了很多fresh，超过了75%的客户，牛奶和少量蔬菜，还有很多熟食，像是一个超市
60：这个用户相比之下，冷冻和熟食很少低于25%的用户，Grocery很多，像是一个街边零售商
160：这个客户Grocery很多，熟食也很多（超过75%），像是只对食材粗加工，更像一个咖啡馆
一个有趣的想法是，考虑这六个类别中的一个（或者多个）产品类别，是否对于理解客户的购买行为具有实际的相关性。也就是说，当用户购买了一定数量的某一类产品，我们是否能够确定他们必然会成比例地购买另一种类的产品。有一个简单的方法可以检测相关性：我们用移除了某一个特征之后的数据集来构建一个监督学习（回归）模型，然后用这个模型去预测那个被移除的特征，再对这个预测结果进行评分，看看预测结果如何。
在下面的代码单元中，你需要实现以下的功能：
DataFrame.drop函数移除数据集中你选择的不需要的特征，并将移除后的结果赋值给new_data。sklearn.model_selection.train_test_split将数据集分割成训练集和测试集。test_size为0.25并设置一个random_state。random_state，然后用训练集训练它。score函数输出模型在测试集上的预测得分。
In [6]:
from sklearn.cross_validation import train_test_split
from sklearn import tree
from sklearn.metrics import r2_score
# TODO：为DataFrame创建一个副本，用'drop'函数丢弃一个特征
detergents_array = data['Detergents_Paper']
new_data = data.drop(['Detergents_Paper'],axis = 1)
# TODO：使用给定的特征作为目标，将数据分割成训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(new_data, detergents_array,
test_size=0.25, random_state=23)
# TODO：创建一个DecisionTreeRegressor（决策树回归器）并在训练集上训练它
regressor = tree.DecisionTreeRegressor(random_state=29)
regressor.fit(X_train, y_train)
# TODO：输出在测试集上的预测得分
score = regressor.score(X_test, y_test)
print("Score Is ", score)
回答:尝试预测了Detergents_Paper，得分0.76,这个分数来讲已经比较高，说明此模型已经能大体上拟合数据。
这个特征对于区分消费者习惯不是很必要，因为我们可以通过其他的因素来预测出Detergents_Paper的购买，因此Detergents_Paper不是区分消费者的主要因素
In [7]:
# 对于数据中的每一对特征构造一个散布矩阵
pd.plotting.scatter_matrix(data, alpha = 0.3, figsize = (14,8), diagonal = 'kde');
回答:
存在，Grocery和DetergentsPager之间有线性相关性。验证了。
大部分数据集中在值较少部分，不是正态分布，我猜想是因为客户需求量都较小，这几类货物很多客户都需要，但是少量难以看出其相关性。
如果数据不是正态分布的，尤其是数据的平均数和中位数相差很大的时候（表示数据非常歪斜）。这时候通常用一个非线性的缩放是很合适的，（英文原文） — 尤其是对于金融数据。一种实现这个缩放的方法是使用Box-Cox 变换，这个方法能够计算出能够最佳减小数据倾斜的指数变换方法。一个比较简单的并且在大多数情况下都适用的方法是使用自然对数。
在下面的代码单元中，你将需要实现以下功能：
np.log函数在数据 data 上做一个对数缩放，然后将它的副本（不改变原始data的值）赋值给log_data。np.log函数在样本数据 samples 上做一个对数缩放，然后将它的副本赋值给log_samples。
In [8]:
# TODO：使用自然对数缩放数据
log_data = np.log(data)
# TODO：使用自然对数缩放样本数据
log_samples = np.log(samples)
# 为每一对新产生的特征制作一个散射矩阵
pd.plotting.scatter_matrix(log_data, alpha = 0.3, figsize = (14,8), diagonal = 'kde');
In [9]:
# 展示经过对数变换后的样本数据
display(log_samples)
对于任何的分析，在数据预处理的过程中检测数据中的异常值都是非常重要的一步。异常值的出现会使得把这些值考虑进去后结果出现倾斜。这里有很多关于怎样定义什么是数据集中的异常值的经验法则。这里我们将使用Tukey的定义异常值的方法：一个异常阶（outlier step）被定义成1.5倍的四分位距（interquartile range，IQR）。一个数据点如果某个特征包含在该特征的IQR之外的特征，那么该数据点被认定为异常点。
在下面的代码单元中，你需要完成下面的功能：
Q1。使用np.percentile来完成这个功能。Q3。同样的，使用np.percentile来完成这个功能。step.outliers列表中，以移除异常值。注意： 如果你选择移除异常值，请保证你选择的样本点不在这些移除的点当中！
一旦你完成了这些功能，数据集将存储在good_data中。
In [10]:
# 对于每一个特征，找到值异常高或者是异常低的数据点
for feature in log_data.keys():
# TODO：计算给定特征的Q1（数据的25th分位点）
Q1 = np.percentile(log_data[feature],25)
# TODO：计算给定特征的Q3（数据的75th分位点）
Q3 = np.percentile(log_data[feature],75)
# TODO：使用四分位范围计算异常阶（1.5倍的四分位距）
step = (Q3-Q1)*1.5
# 显示异常点
print "Data points considered outliers for the feature '{}':".format(feature)
display(log_data[~((log_data[feature] >= Q1 - step) & (log_data[feature] <= Q3 + step))])
# 可选：选择你希望移除的数据点的索引
outliers = []
# 如果选择了的话，移除异常点
good_data = log_data.drop(log_data.index[outliers]).reset_index(drop = True)
回答: 65,66,75,128 个人觉得不应该，在这种场景中，根据四分位确定的异常值，很可能已经是代表了某种顾客的特征，多个特征均被视为异常值，反而可能是一种规律。反正现在是看不出来什么异常。
既然数据被缩放到一个更加正态分布的范围中并且我们也移除了需要移除的异常点，我们现在就能够在good_data上使用PCA算法以发现数据的哪一个维度能够最大化特征的方差。除了找到这些维度，PCA也将报告每一个维度的解释方差比（explained variance ratio）--这个数据有多少方差能够用这个单独的维度来解释。注意PCA的一个组成部分（维度）能够被看做这个空间中的一个新的“特征”，但是它是原来数据中的特征构成的。
在下面的代码单元中，你将要实现下面的功能：
sklearn.decomposition.PCA并且将good_data用PCA并且使用6个维度进行拟合后的结果保存到pca中。pca.transform将log_samples进行转换，并将结果存储到pca_samples中。
In [11]:
from sklearn.decomposition import PCA
# TODO：通过在good_data上使用PCA，将其转换成和当前特征数一样多的维度
pca = PCA(n_components=len(good_data.columns)).fit(good_data)
print log_samples
# TODO：使用上面的PCA拟合将变换施加在log_samples上
pca_samples = pca.transform(log_samples)
print pca_samples
# 生成PCA的结果图
pca_results = vs.pca_results(good_data, pca)
数据的第一个和第二个主成分 总共 表示了多少的方差？ 前四个主成分呢？使用上面提供的可视化图像，讨论从用户花费的角度来看前四个主要成分的消费行为最能代表哪种类型的客户并给出你做出判断的理由。
提示： 某一特定维度上的正向增长对应正权特征的增长和负权特征的减少。增长和减少的速率和每个特征的权重相关。参考资料(英文)。
回答: 第一、第二个主成分表示了71%左右的方差，前四个之和有90%左右。
从第一个维度的图来看，Detergents_Paper、Grocery、Milk占了很大的比重，很有可能是食品杂货店之类的客户。
第二个维度中，Detergents_Paper、Grocery、Milk比重完全降低，而Fresh、Frozen、Delicatessen，比重又占了很多，应该和维度1几乎正交，推测为熟食店。
第三个比重中，Fresh、Delicatessen比重又很大，像是前两者不完全涵盖的类型。
In [12]:
# 展示经过PCA转换的sample log-data
display(pd.DataFrame(np.round(pca_samples, 4), columns = pca_results.index.values))
当使用主成分分析的时候，一个主要的目的是减少数据的维度，这实际上降低了问题的复杂度。当然降维也是需要一定代价的：更少的维度能够表示的数据中的总方差更少。因为这个，累计解释方差比（cumulative explained variance ratio）对于我们确定这个问题需要多少维度非常重要。另外，如果大部分的方差都能够通过两个或者是三个维度进行表示的话，降维之后的数据能够被可视化。
在下面的代码单元中，你将实现下面的功能：
good_data用两个维度的PCA进行拟合，并将结果存储到pca中去。pca.transform将good_data进行转换，并将结果存储在reduced_data中。pca.transform将log_samples进行转换，并将结果存储在pca_samples中。
In [13]:
# TODO：通过在good data上进行PCA，将其转换成两个维度
pca = PCA(n_components=2).fit(good_data)
# TODO：使用上面训练的PCA将good data进行转换
reduced_data = pca.transform(good_data)
# TODO：使用上面训练的PCA将log_samples进行转换
pca_samples = pca.transform(log_samples)
# 为降维后的数据创建一个DataFrame
reduced_data = pd.DataFrame(reduced_data, columns = ['Dimension 1', 'Dimension 2'])
In [14]:
# 展示经过两个维度的PCA转换之后的样本log-data
display(pd.DataFrame(np.round(pca_samples, 4), columns = ['Dimension 1', 'Dimension 2']))
In [15]:
# Create a biplot
vs.biplot(good_data, reduced_data, pca)
Out[15]:
回答: K-Means
高斯混合模型
我选用K-Means，目前并不需要做量化软聚类，且目前数据较为简单。
针对不同情况，有些问题你需要的聚类数目可能是已知的。但是在聚类数目不作为一个先验知道的情况下，我们并不能够保证某个聚类的数目对这个数据是最优的，因为我们对于数据的结构（如果存在的话）是不清楚的。但是，我们可以通过计算每一个簇中点的轮廓系数来衡量聚类的质量。数据点的轮廓系数衡量了它与分配给他的簇的相似度，这个值范围在-1（不相似）到1（相似）。平均轮廓系数为我们提供了一种简单地度量聚类质量的方法。
在接下来的代码单元中，你将实现下列功能：
reduced_data上使用一个聚类算法，并将结果赋值到clusterer，需要设置 random_state 使得结果可以复现。clusterer.predict预测reduced_data中的每一个点的簇，并将结果赋值到preds。centers。pca_samples中的每一个样本点的类别并将结果赋值到sample_preds。reduced_data相对于preds的轮廓系数。score并输出结果。
In [16]:
from sklearn.cluster import KMeans
from sklearn.metrics import silhouette_score
# TODO：在降维后的数据上使用你选择的聚类算法
clusterer = KMeans(n_clusters=2, random_state=29).fit(reduced_data)
# TODO：预测每一个点的簇
preds = clusterer.predict(reduced_data)
# TODO：找到聚类中心
centers = clusterer.cluster_centers_
# TODO：预测在每一个转换后的样本点的类
sample_preds = clusterer.predict(pca_samples)
# TODO：计算选择的类别的平均轮廓系数（mean silhouette coefficient）
score = silhouette_score(reduced_data, clusterer.labels_, metric='euclidean')
print score
# 2 => 0.419166083203
# 3 => 0.392358689958
# 4 => 0.333872503172
# 5 => 0.333872503172
# 6 => 0.359310196851
回答: 试了从2=>6几个K值，最佳的为2
In [17]:
# 从已有的实现中展示聚类的结果
vs.cluster_results(reduced_data, preds, centers, pca_samples)
In [18]:
# TODO：反向转换中心点
log_centers = pca.inverse_transform(centers)
# TODO：对中心点做指数转换
true_centers = np.exp(log_centers)
# 显示真实的中心点
segments = ['Segment {}'.format(i) for i in range(0,len(centers))]
true_centers = pd.DataFrame(np.round(true_centers), columns = data.keys())
true_centers.index = segments
display(true_centers)
回答:
Cluster 0更像是零售商，因为他们的中心点Segment 0的各项特征值都是50%左右，低于平均值，不存在某个特征特别高，而量又没有特别大，符合零售商什么都卖，但是入货不算多的特点
Cluster 1更像是咖啡店，并且他们的中心点Segment 1的值牛奶和、杂物和清洁纸的量超过了75%而且超过了平均数，而其他的数量较少，咖啡店牛奶和纸巾的消耗必然很多，所以更有可能是咖啡店
In [19]:
# 显示预测结果
for i, pred in enumerate(sample_preds):
print "Sample point", i, "predicted to be in Cluster", pred
回答:
不相符,三个点都预测结果都是Cluster 0，这与感性认知的结论有比较大的冲突，说明自行预测的时候还是缺乏经验，无法正确预测
在对他们的服务或者是产品做细微的改变的时候，公司经常会使用A/B tests以确定这些改变会对客户产生积极作用还是消极作用。这个批发商希望考虑将他的派送服务从每周5天变为每周3天，但是他只会对他客户当中对此有积极反馈的客户采用。这个批发商应该如何利用客户分类来知道哪些客户对它的这个派送策略的改变有积极的反馈，如果有的话？你需要给出在这个情形下A/B 测试具体的实现方法，以及最终得出结论的依据是什么？
提示： 我们能假设这个改变对所有的客户影响都一致吗？我们怎样才能够确定它对于哪个类型的客户影响最大？
回答：
从每个分类中各找出相等的一小部分客户，然后给他们派送的服务从每周5天变成3天，经过两周的实验，观察哪个分类的用户反馈更积极
如果其中某些分类的客户基本没有退订服务，那么说明这些客户改成3天没有问题
如果某些分类的客户退订服务很多，那么说明这些客户还应该每周派送5天
可以先假设都一致，根据退订的比例来确定对那个类型的客户影响最大
通过聚类技术，我们能够将原有的没有标记的数据集中的附加结构分析出来。因为每一个客户都有一个最佳的划分（取决于你选择使用的聚类算法），我们可以把用户分类作为数据的一个工程特征。假设批发商最近迎来十位新顾客，并且他已经为每位顾客每个产品类别年度采购额进行了预估。进行了这些估算之后，批发商该如何运用它的预估和非监督学习的结果来对这十个新的客户进行更好的预测？
提示：在下面的代码单元中，我们提供了一个已经做好聚类的数据（聚类结果为数据中的cluster属性），我们将在这个数据集上做一个小实验。尝试运行下面的代码看看我们尝试预测‘Region’的时候，如果存在聚类特征'cluster'与不存在相比对最终的得分会有什么影响？这对你有什么启发？
In [20]:
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split
# 读取包含聚类结果的数据
cluster_data = pd.read_csv("cluster.csv")
y = cluster_data['Region']
X = cluster_data.drop(['Region'], axis = 1)
# 划分训练集测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=24)
clf = RandomForestClassifier(random_state=24)
clf.fit(X_train, y_train)
print "使用cluster特征的得分", clf.score(X_test, y_test)
# 移除cluster特征
X_train = X_train.copy()
X_train.drop(['cluster'], axis=1, inplace=True)
X_test = X_test.copy()
X_test.drop(['cluster'], axis=1, inplace=True)
clf.fit(X_train, y_train)
print "不使用cluster特征的得分", clf.score(X_test, y_test)
回答： cluster的存在会使得分变高，有可能预测会变得更准确 遇到问题时，有时候并不需要刻板的使用某个方法，或者某一类技术，应该尽力解决问题，开拓思路。非监督学习的结论可以作用于监督学习。。。
In [21]:
# 根据‘Channel‘数据显示聚类的结果
vs.channel_results(reduced_data, outliers, pca_samples)
回答：
差不多，聚类的量都是两个
dimension在-0.5左右时，几乎可以分开两个聚类
不一致
注意: 当你写完了所有的代码，并且回答了所有的问题。你就可以把你的 iPython Notebook 导出成 HTML 文件。你可以在菜单栏，这样导出File -> Download as -> HTML (.html)把这个 HTML 和这个 iPython notebook 一起做为你的作业提交。