12.1 使用 pandas进行数据处理

12.1.1 理论知识

pandas 是 Python 中最常用的数据处理库之一，它提供了高效的数据结构和数据分析工具。pandas 的核心数据结构是 Series（一维数据）和 DataFrame（二维数据，类似于表格），使得处理和分析结构化数据变得非常方便。它支持从各种数据源（如 CSV、Excel、SQL 数据库等）读取数据，进行数据清洗、转换、合并、分组等操作。

12.1.2 示例代码

import pandas as pd

# 从 CSV 文件读取数据
data = pd.read_csv('data.csv')

# 查看数据的前几行
print(data.head())

# 数据基本信息
print(data.info())

# 数据统计摘要
print(data.describe())

# 选择列
selected_column = data['column_name']
print(selected_column)

# 过滤数据
filtered_data = data[data['column_name'] > 10]
print(filtered_data)

12.1.3 代码解释

• 首先导入 pandas 库并简写成 pd。
• 使用 pd.read_csv('data.csv') 从名为 data.csv 的文件中读取数据，并将其存储在 data 这个 DataFrame 对象中。
• data.head() 用于查看 DataFrame 的前几行（默认前 5 行），帮助快速了解数据的结构。
• data.info() 提供数据的基本信息，包括每列的数据类型、非空值数量等。
• data.describe() 生成数据的统计摘要，如计数、均值、标准差、最小值、最大值等。
• data['column_name'] 选择名为 column_name 的列，返回一个 Series 对象。
• data[data['column_name'] > 10] 根据条件 column_name 列的值大于 10 过滤数据，返回满足条件的 DataFrame。

12.2 使用 numpy进行数值计算

12.2.1 理论知识

numpy 是 Python 中用于数值计算的基础库，它提供了高性能的多维数组对象 ndarray 以及相关的操作函数。numpy 的数组在存储和计算效率上比 Python 原生列表更高，尤其在处理大规模数值数据时优势明显。它支持各种数学运算、线性代数运算、随机数生成等功能。

12.2.2 示例代码

import numpy as np

# 创建一维数组
arr1 = np.array([1, 2, 3, 4, 5])
print(arr1)

# 创建二维数组
arr2 = np.array([[1, 2, 3], [4, 5, 6]])
print(arr2)

# 数组运算
result = arr1 * 2
print(result)

# 矩阵乘法
matrix1 = np.array([[1, 2], [3, 4]])
matrix2 = np.array([[5, 6], [7, 8]])
matrix_product = np.dot(matrix1, matrix2)
print(matrix_product)

# 生成随机数组
random_arr = np.random.rand(3, 3)
print(random_arr)

12.2.3 代码解释

• 导入 numpy 库并简写成 np。
• 使用 np.array() 创建一维数组 arr1 和二维数组 arr2 并打印。
• 对 arr1 进行乘法运算 arr1 * 2，numpy 会对数组中的每个元素进行乘法操作，并返回新的数组。
• 使用 np.dot() 进行矩阵乘法，计算 matrix1 和 matrix2 的乘积并打印。
• np.random.rand(3, 3) 生成一个形状为 (3, 3) 的随机数组，其中的元素是 0 到 1 之间的随机浮点数并打印。

12.3 使用 matplotlib进行数据可视化

12.3.1 理论知识

matplotlib 是 Python 中最常用的数据可视化库之一，它提供了类似 MATLAB 的绘图接口，能够创建各种类型的图表，如折线图、柱状图、散点图、饼图等。通过 matplotlib，可以将数据以直观的图形方式展示出来，便于理解和分析数据。

12.3.2 示例代码

import matplotlib.pyplot as plt
import numpy as np

# 生成数据
x = np.linspace(0, 10, 100)
y = np.sin(x)

# 绘制折线图
plt.plot(x, y)
plt.title('正弦函数曲线')
plt.xlabel('x 值')
plt.ylabel('sin(x) 值')
plt.show()


# 绘制柱状图
categories = ['A', 'B', 'C']
values = [25, 40, 15]
plt.bar(categories, values)
plt.title('分类数据柱状图')
plt.xlabel('类别')
plt.ylabel('数值')
plt.show()

12.3.3 代码解释

• 导入 matplotlib.pyplot 库并简写成 plt，同时导入 numpy 库用于生成数据。
• 使用 np.linspace(0, 10, 100) 生成在 0 到 10 之间均匀分布的 100 个点作为 x 轴数据，np.sin(x) 计算对应的正弦值作为 y 轴数据。
• plt.plot(x, y) 绘制折线图，plt.title()、plt.xlabel() 和 plt.ylabel() 分别设置图表标题、x 轴标签和 y 轴标签，最后 plt.show() 显示图表。
• 定义类别列表 categories 和对应数值列表 values，使用 plt.bar(categories, values) 绘制柱状图，同样设置标题、坐标轴标签后通过 plt.show() 显示图表。

12.4 使用 seaborn进行高级数据可视化

12.4.1 理论知识

seaborn 是基于 matplotlib 的高级数据可视化库，它提供了更美观、更简洁的绘图接口，并且对统计数据的可视化支持更好。seaborn 可以轻松创建复杂的图表，如箱线图、小提琴图、热力图等，在数据分析和探索性数据分析（EDA）中非常有用。

12.4.2 示例代码

import seaborn as sns
import pandas as pd
import numpy as np

# 生成示例数据
data = {
    '类别': np.repeat(['A', 'B', 'C'], 30),
    '数值': np.random.randn(90)
}
df = pd.DataFrame(data)

# 绘制箱线图
sns.boxplot(x='类别', y='数值', data=df)
plt.title('不同类别数值的箱线图')
plt.show()


# 绘制热力图
correlation = df.corr()
sns.heatmap(correlation, annot=True, cmap='coolwarm')
plt.title('数据相关性热力图')
plt.show()

12.4.3 代码解释

• 导入 seaborn 库并简写成 sns，同时导入 pandas 和 numpy 库。
• 使用字典生成示例数据，并通过 pd.DataFrame() 将其转换为 DataFrame 对象 df。
• sns.boxplot(x='类别', y='数值', data=df) 绘制箱线图，展示不同类别下数值的分布情况，设置图表标题后用 plt.show() 显示。
• 计算 df 的相关性矩阵 correlation，使用 sns.heatmap() 绘制热力图，annot=True 表示在热力图上显示数值，cmap='coolwarm' 设置颜色映射，设置标题后通过 plt.show() 显示图表。