Python - pandas用法梳理 - 路遥

Pandas的入门基础

一、导入Pandas库

导入之前需要先去安装pandas的包

（导出数据到Excel可能需要openpyxl或xlwt库，导出到SQL可能需要SQLAlchemy库）

pip install pandas
pip install openpyxl

安装好依赖后直接导入；

import pandas as pd

二、DataFrame

DataFrame是Pandas库中的一个非常核心的数据结构，它是一个表格型的数据结构，每一列可以含有不同类型的值（数值、字符串、布尔值等）。DataFrame既有行索引也有列索引，它可以被看作是由Series实例构成的字典（共用同一个索引）。

从字典创建：

import pandas as pd

data = {'Name': ['Alice', 'Bob', 'Charlie'],
        'Age': [24, 27, 25],
        'City': ['New York', 'Los Angeles', 'Chicago']}
df = pd.DataFrame(data)

从列表的字典创建：

data = [{'Name': 'Alice', 'Age': 24, 'City': 'New York'},
        {'Name': 'Bob', 'Age': 27, 'City': 'Los Angeles'},
        {'Name': 'Charlie', 'Age': 25, 'City': 'Chicago'}]
df = pd.DataFrame(data)

从文件创建（如CSV、Excel等）：

df = pd.read_csv('filename.csv')
df = pd.read_excel('filename.xlsx')

三、数据查看

可以使用head()和tail()方法查看DataFrame的前几行或后几行数据，默认是5行。

df.head(n) # 查看前n行的数据
df.tail(n) # 查看后n行的数据

下面是一些具体的代码示例，展示了如何将pandas的DataFrame对象转换为不同的数据结构：

转换为字典（dict）

转换为字典列表：

import pandas as pd

# 假设df是一个DataFrame
df = pd.DataFrame({
   'A': [1, 2, 3],
   'B': [4, 5, 6],
   'C': [7, 8, 9]
})

# 转换为字典列表
dict_list = df.to_dict('records')
print(dict_list)

转换为列名到Series的字典：

# 转换为列名到Series的字典
dict_series = df.to_dict('dict')
print(dict_series)

转换为列名到列表的字典：

# 转换为列名到列表的字典
dict_list_values = df.to_dict('list')
print(dict_list_values)

转换为列名到索引值的字典：

# 转换为列名到索引值的字典
dict_index_values = df.to_dict('index')
print(dict_index_values)

转换为列表（list）

转换为行列表：

# 转换为行列表
list_of_lists = df.values.tolist()
print(list_of_lists)

转换为列列表：

# 转换为列列表
list_column = df['A'].tolist()
print(list_column)

四、数据选择和过滤

你可以通过列名或条件来选择和过滤数据。

# 选择某一行或列数据
column1 = df['ColumnName'] # 通过列名进行选择
row2 = df.loc[RowIndex] # 通过行标签选择行。
row3 = df.iloc[RowIndex] # 通过行位置选择行。

# 根据条件过滤数据
filtered_data = df[df['column'] > value] # 基于条件选择行

五、表结构操作

添加和删除列：

df['NewColumn'] = value_or_array # 添加列。

df.drop('ColumnName', axis=1) # 删除列。

修改列名和索引：

df.rename(columns={'OldName': 'NewName'}) # 重命名列。
df.set_index('ColumnName') # 设置新的索引。

在Pandas中，数据处理是一个非常重要的环节，它可以帮助我们清洗、转换和准备数据以进行分析。下面，我将具体介绍一些数据处理的方法和操作。

六、数据处理

处理缺失数据

缺失数据在现实世界的数据分析任务中很常见。Pandas提供了几种处理缺失数据的方法：

dropna()：这个方法可以删除含有空值的行或列。可以通过参数控制删除行或列的行为。

df_cleaned = df.dropna()  # 删除所有包含NaN的行
df_cleaned_cols = df.dropna(axis=1)  # 删除所有包含NaN的列

fillna()：此方法允许用某个值或插值方法填充NaN值。

df_filled = df.fillna(0)  # 用0填充所有NaN
df_filled_forward = df.fillna(method='ffill')  # 用前一个非NaN值填充

排序

对数据集进行排序可以提高其可读性，也可以为进一步的分析做准备：

sort_values()：可以对一列或多列的数据进行排序。

sorted_df = df.sort_values(by='Age')  # 按年龄升序排序
sorted_df_desc = df.sort_values(by='Age', ascending=False)  # 按年龄降序排序

统计信息

统计信息能够提供数据集的快速概要：

describe()：显示数据的描述性统计信息，如均值、标准差、最小值、最大值等。

summary = df.describe()

合并和连接

合并和连接操作可以让我们组合来自不同数据源的数据：

concat()：用于按轴合并多个DataFrame或Series。

combined_df = pd.concat([df1, df2], axis=0)  # 垂直合并
combined_df = pd.concat([df1, df2], axis=1)  # 水平合并

merge()：用于根据一个或多个键将不同DataFrame中的行连接起来。

merged_df = pd.merge(df1, df2, on='KeyColumn')  # 根据KeyColumn合并df1和df2

分组

分组操作是对数据集进行分类并对每个类别应用聚合函数的一种方法：

groupby()：返回一个按列分组的GroupBy对象。

grouped = df.groupby('Category')
mean_values = grouped.mean()  # 对每个分组计算均值

聚合

聚合是指计算汇总统计的过程，比如求和、均值、最大值等：

agg()：可以对GroupBy对象应用多种聚合函数。

aggregated = grouped.agg({'Column1': 'sum', 'Column2': 'max'})  # 对Column1求和，对Column2取最大值

转换

Pandas还提供了转换方法，用于重塑数据框架结构：

pivot_table()：创建一个透视表，可以指定值、行索引和列索引。

pivot = df.pivot_table(values='Sales', index='Date', columns='Product', aggfunc='sum')

这些工具和方法构成了Pandas在数据处理方面的基础，它们能够处理绝大多数的数据问题。了解和熟练运用这些工具将有助于你高效地进行数据科学工作。

七、数据导出

导出为CSV文件

CSV（逗号分隔值）文件是一种简单的文本文件，其中的数据由逗号分隔。Pandas可以轻松地将DataFrame数据导出为CSV文件：

python复制df.to_csv('filename.csv', index=False)  # 导出到CSV，不包含行索引

导出为Excel文件

Excel文件是一个常用的电子表格文件格式，Pandas允许导出数据到Excel工作簿中：

python复制df.to_excel('filename.xlsx', sheet_name='Sheet1', index=False)  # 导出到Excel，指定工作表名，不包含行索引

导出为JSON文件

JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，易于人阅读和编写，也易于机器解析和生成：

python复制df.to_json('filename.json', orient='records')  # 导出到JSON，以记录形式

导出为HTML文件

将DataFrame导出为HTML表格可以直接在Web页面中显示数据：

python复制df.to_html('filename.html')  # 导出到HTML文件

导出为SQL数据库

Pandas还可以将DataFrame导出到SQL表中，与数据库进行交互：

python复制from sqlalchemy import create_engine
engine = create_engine('sqlite:///my_database.db')  # 创建数据库引擎
df.to_sql('table_name', con=engine, if_exists='replace', index=False)  # 导出到SQL表，如果表存在则替换

导出为其他格式

Pandas还支持导出到其他格式，如HDF5、Parquet、Msgpack等，以满足不同的数据持久化需求。

python复制df.to_hdf('filename.h5', 'my_data', mode='w')  # 导出到HDF5文件
df.to_parquet('filename.parquet')  # 导出到Parquet文件

了解和使用这些导出方法非常有助于在数据处理的不同阶段进行数据存储和交换。需要注意的是，某些导出方法可能需要额外的库支持，例如导出Excel可能需要openpyxl或xlwt库，导出到SQL可能需要SQLAlchemy库。在使用前确保这些库已经安装在你的环境中。