数据科学速成班-深度Pandas教程（代号Pande官方版）

用于关系数据的终极Python库

> Photo by Pascal Müller on Unsplash

本月初，我和爱德华·钱（Edward Qian）和我开始为有抱负的数据科学家设计一套全面的课程，可以在我们的网站www.dscrashcourse.com上找到这些课程。

我将把稍作修改的课程交叉发布到中级课程，以使更多的读者可以使用。如果您发现这些文章有帮助，请访问该站点以获取更多课程和练习问题！

pandas是一个Python库，可以轻松读取，导出和使用关系数据。本课将扩展其功能和用法。我们通常将熊猫作为pd导入，以使用缩写形式引用该库。下面共享的所有代码都是使用pandas == 0.24.2的Python 3编写的。

Pandas系列

根据官方文档，Series是带有轴标签的一维ndarray。 ndarray是在numpy库中找到的一种特殊数据类型，它定义了固定大小的元素数组。简单来说，"系列"是表或电子表格中具有相同数据类型的列。每个系列都有一个用于指示轴标签的索引。

我们可以使用pd.Series（['some'，'array'，'object']）创建一个Series

Index序列

我们可以使用轴标签或位置标签来查找系列值。如果未指定，则Series轴标签（也称为Series索引）将默认为整数。我们也可以将索引设置为字符串。

sample_series = pd.Series(['some', 'array', 'object'], index=list('abc')) # positional indexing: this returns the first value, which is 'some' sample_series[0] # label indexing: this also returns the first value 'some' sample_series['a']

这就是sample_series的样子。

我们可以对系列进行切片以获取一系列值。使用轴标签时，切片行为有所不同-与通常的Python切片相反，起点和终点都包括在内！

# positional slicing: this returns the first two values sample_series[:2] # label slicing: this also returns the first two values sample_series[:'b']Pandas数据框

DataFrames用于定义二维数据。使用索引标记行，使用列标题标记列。每列都可以解释为系列。我们可以使用pd.DataFrame（{'column 1'：[1，1]，'column 2'：[2，2]}）创建一个DataFrame。

另外，我们也可以将表格数据读取到DataFrames中。

# Read in a CSV file csv_dataframe = pd.read_csv('my_csv_file.csv') # Read in an Excel file xls_dataframe = pd.read_excel('my_xls_file.xls')索引数据帧

我们可以使用方括号对DataFrame列进行索引。让我们以我们创建的非常简单的DataFrame为例。

sample_dataframe = pd.DataFrame({'column 1': [1, 1], 'column 2': [2, 2]}) # get the column 'column 1' sample_dataframe['column 1']

对于更复杂的索引，我们可以使用.iloc或.loc。

· loc是基于标签的索引方法，它需要行和列的名称

· iloc是基于位置的索引方法，该方法需要值的位置

因为我们没有为行指定轴标签，所以它们采用了默认的整数值。因此，此DataFrame的位置标签和轴标签相同。

我们可以使用以下任一方法检索第一行：

sample_dataframe.iloc[0, :] sample_dataframe.loc[0, :]用Pandas探索合成数据集

让我们创建另一个DataFrame来说明一些功能。我们可以假装此数据取自分发教育材料的公司。

data = pd.DataFrame({'customer_id': [1,2,3,4,5,6,7,8], 'age': [29,43,22,82,41,33,63,57], 'email_linked': [True,True,False,True,False,False,True,True], 'occupation': ['teacher','highschool teacher','student','retired', 'tutor','unemployed','entrepreneur','professor']})

对于较大的DataFrame，我们可以使用.head（n）查看前n行。要查看最后几行，我们可以使用.tail（n）执行类似的操作。对于我们的小型数据集而言，这都不是必需的，但我们仍然可以使用data.head（3）进行演示。

过滤和索引数据框

假设我们要运行一个电子邮件活动。我们首先提取相关的列来开展我们的运动。

# use double brackets to index multiple columns, single brackets for one column email_data = data[['customer_id', 'email_linked']]

并非所有客户都有链接的电子邮件，因此我们绝对希望排除那些没有链接的电子邮件。

# the condition goes inside the square brackets email_data = email_data[email_data['email_linked']]应用逐列函数

让我们编写一个非常简单的函数来确定客户是否为教育工作者。这就是我们定义教育者的方式。

def is_educator(occupation): return 'teacher' in occupation.lower() or occupation.lower() in ['tutor', 'professor', 'lecturer']

我们可以将此功能应用于职业列以创建一个新列。

data['is_educator'] = data['occupation'].apply(is_educator)

我们还可以转换DataFrame每列中的所有行。这就要求我们设置axis = 0（这也是默认设置）。我们可以编写逐列函数，以删除任何包含缺少值的列。这仅用于演示-有更好的方法来处理缺失的值（请参阅Pandas官方文档）。

def remove_missing_columns(col): if col.isnull().values.any(): return coldata.apply(remove_missing_columns, axis=0)应用逐行函数

我们还可以应用函数来转换行中的每一列。这要求我们将axis = 1。

def is_educator_above_50(row): return row['age'] > 50 and is_educator(row['occupation']) data['is_educator_above_50'] = data.apply(is_educator_above_50, axis=1)