google机器学习框架tensorflow学习笔记（五）

Pandas简介

pandas  是一种列存数据分析 API。它是用于处理和分析输入数据的强大工具，很多机器学习框架都支持将  pandas  数据结构作为输入。 虽然全方位介绍  pandas  API 会占据很长篇幅，但它的核心概念非常简单，我们会在下文中进行说明。有关更完整的参考，请访问  pandas 文档网站 ，其中包含丰富的文档和教程资源。

基本概念

以下行导入了  pandas  API 并输出了相应的 API 版本：

import pandas as pd
pd.__version__

pandas 中的主要数据结构被实现为以下两类：

• DataFrame，您可以将它想象成一个关系型数据表格，其中包含多个行和已命名的列。
• Series，它是单一列。DataFrame 中包含一个或多个 Series，每个 Series 均有一个名称。

数据框架是用于数据操控的一种常用抽象实现形式。Spark 和 R 中也有类似的实现。

创建  Series  的一种方法是构建  Series  对象。例如：

pd.Series(['San Francisco', 'San Jose', 'Sacramento'])

您可以将映射  string  列名称的  dict  传递到它们各自的  Series ，从而创建 DataFrame 对象。如果  Series  在长度上不一致，系统会用特殊的  NA/NaN  值填充缺失的值。例如：

city_names = pd.Series(['San Francisco', 'San Jose', 'Sacramento'])
population = pd.Series([852469, 1015785, 485199])

pd.DataFrame({ 'City name': city_names, 'Population': population })

但是在大多数情况下，您需要将整个文件加载到  DataFrame  中。下面的示例加载了一个包含加利福尼亚州住房数据的文件。

california_housing_dataframe = pd.read_csv("https://storage.googleapis.com/mledu-datasets/california_housing_train.csv", sep=",")
california_housing_dataframe.describe()

上面的示例使用  DataFrame.describe  来显示关于  DataFrame  的有趣统计信息。另一个实用函数是  DataFrame.head ，它显示  DataFrame  的前几个记录：

california_housing_dataframe.head()

pandas  的另一个强大功能是绘制图表。例如，借助  DataFrame.hist ，您可以快速了解一个列中值的分布：

california_housing_dataframe.hist('housing_median_age')

访问数据

您可以使用熟悉的 Python dict/list 指令访问  DataFrame  数据：

cities = pd.DataFrame({ 'City name': city_names, 'Population': population })
print type(cities['City name'])
cities['City name']
print type(cities['City name'][1])
cities['City name'][1]
print type(cities[0:2])
cities[0:2]

此外， pandas  针对高级 索引和选择 提供了极其丰富的 API（数量过多，此处无法逐一列出）。

操控数据

您可以向  Series  应用 Python 的基本运算指令。例如：

population / 1000.

NumPy  是一种用于进行科学计算的常用工具包。 pandas   Series  可用作大多数 NumPy 函数的参数：

import numpy as np

np.log(population)

对于更复杂的单列转换，您可以使用 Series.apply。像 Python 映射函数一样，Series.apply 将以参数形式接受 lambda 函数，而该函数会应用于每个值。

下面的示例创建了一个指明 population 是否超过 100 万的新 Series：

population.apply(lambda val: val > 1000000)

DataFrames  的修改方式也非常简单。例如，以下代码向现有  DataFrame  添加了两个  Series ：

cities['Area square miles'] = pd.Series([46.87, 176.53, 97.92])
cities['Population density'] = cities['Population'] / cities['Area square miles']
cities

索引

Series 和 DataFrame 对象也定义了 index 属性，该属性会向每个 Series 项或 DataFrame 行赋一个标识符值。

默认情况下，在构造时，pandas 会赋可反映源数据顺序的索引值。索引值在创建后是稳定的；也就是说，它们不会因为数据重新排序而发生改变。

city_names.index
cities.index

调用  DataFrame.reindex  以手动重新排列各行的顺序。例如，以下方式与按城市名称排序具有相同的效果：

cities.reindex([2, 0, 1])

重建索引是一种随机排列  DataFrame  的绝佳方式。在下面的示例中，我们会取用类似数组的索引，然后将其传递至 NumPy 的  random.permutation  函数，该函数会随机排列其值的位置。如果使用此重新随机排列的数组调用  reindex ，会导致  DataFrame  行以同样的方式随机排列。

cities.reindex(np.random.permutation(cities.index))

有关详情，请参阅 索引文档 。