In [0]:
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
# https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
学习目标：
DataFrame 和 Series 数据结构DataFrame 和 Series 中的数据DataFrameDataFrame 重建索引来随机打乱数据pandas 是一种列存数据分析 API。它是用于处理和分析输入数据的强大工具，很多机器学习框架都支持将 pandas 数据结构作为输入。 虽然全方位介绍 pandas API 会占据很长篇幅，但它的核心概念非常简单，我们会在下文中进行说明。有关更完整的参考，请访问 pandas 文档网站，其中包含丰富的文档和教程资源。
In [2]:
from __future__ import print_function
import pandas as pd
pd.__version__
Out[2]:
创建 Series 的一种方法是构建 Series 对象。例如：
In [3]:
pd.Series(['San Francisco', 'San Jose', 'Sacramento'])
Out[3]:
您可以将映射 string 列名称的 dict 传递到它们各自的 Series，从而创建DataFrame对象。如果 Series 在长度上不一致，系统会用特殊的 NA/NaN 值填充缺失的值。例如：
In [4]:
city_names = pd.Series(['San Francisco', 'San Jose', 'Sacramento'])
population = pd.Series([852469, 1015785, 485199])
pd.DataFrame({ 'City name': city_names, 'Population': population })
Out[4]:
但是在大多数情况下，您需要将整个文件加载到 DataFrame 中。下面的示例加载了一个包含加利福尼亚州住房数据的文件。请运行以下单元格以加载数据，并创建特征定义：
In [5]:
california_housing_dataframe = pd.read_csv("https://download.mlcc.google.com/mledu-datasets/california_housing_train.csv", sep=",")
california_housing_dataframe.describe()
Out[5]:
上面的示例使用 DataFrame.describe 来显示关于 DataFrame 的有趣统计信息。另一个实用函数是 DataFrame.head，它显示 DataFrame 的前几个记录：
In [6]:
california_housing_dataframe.head()
Out[6]:
pandas 的另一个强大功能是绘制图表。例如，借助 DataFrame.hist，您可以快速了解一个列中值的分布：
In [7]:
california_housing_dataframe.hist('housing_median_age')
Out[7]:
In [8]:
cities = pd.DataFrame({ 'City name': city_names, 'Population': population })
print(type(cities['City name']))
cities['City name']
Out[8]:
In [9]:
print(type(cities['City name'][1]))
cities['City name'][1]
Out[9]:
In [10]:
print(type(cities[0:2]))
cities[0:2]
Out[10]:
此外，pandas 针对高级索引和选择提供了极其丰富的 API（数量过多，此处无法逐一列出）。
In [11]:
population / 1000.
Out[11]:
NumPy 是一种用于进行科学计算的常用工具包。pandas Series 可用作大多数 NumPy 函数的参数：
In [12]:
import numpy as np
np.log(population)
Out[12]:
In [13]:
population.apply(lambda val: val > 1000000)
Out[13]:
DataFrames 的修改方式也非常简单。例如，以下代码向现有 DataFrame 添加了两个 Series：
In [14]:
cities['Area square miles'] = pd.Series([46.87, 176.53, 97.92])
cities['Population density'] = cities['Population'] / cities['Area square miles']
cities
Out[14]:
In [18]:
# Your code here
cities['Is wide and has saint name'] = (cities['Area square miles'] > 50) & cities['City name'].apply(lambda name: name.startswith('San'))
cities
Out[18]:
In [17]:
cities['Is wide and has saint name'] = (cities['Area square miles'] > 50) & cities['City name'].apply(lambda name: name.startswith('San'))
cities
Out[17]:
In [19]:
city_names.index
Out[19]:
In [20]:
cities.index
Out[20]:
调用 DataFrame.reindex 以手动重新排列各行的顺序。例如，以下方式与按城市名称排序具有相同的效果：
In [21]:
cities.reindex([2, 0, 1])
Out[21]:
重建索引是一种随机排列 DataFrame 的绝佳方式。在下面的示例中，我们会取用类似数组的索引，然后将其传递至 NumPy 的 random.permutation 函数，该函数会随机排列其值的位置。如果使用此重新随机排列的数组调用 reindex，会导致 DataFrame 行以同样的方式随机排列。
尝试多次运行以下单元格！
In [23]:
cities.reindex(np.random.permutation(cities.index))
Out[23]:
有关详情，请参阅索引文档。
In [24]:
# Your code here
cities.reindex([2, 0, 1, 3])
Out[24]:
如果您的 reindex 输入数组包含原始 DataFrame 索引值中没有的值，reindex 会为此类“丢失的”索引添加新行，并在所有对应列中填充 NaN 值：
In [25]:
cities.reindex([0, 4, 5, 2])
Out[25]:
这种行为是可取的，因为索引通常是从实际数据中提取的字符串（请参阅 pandas reindex 文档，查看索引值是浏览器名称的示例）。
在这种情况下，如果允许出现“丢失的”索引，您将可以轻松使用外部列表重建索引，因为您不必担心会将输入清理掉。