以下是 Python 中 数据处理的高效小技巧，涵盖数据清洗、转换、分析和优化，助你提升数据处理效率：

一、数据清洗技巧

1.处理缺失值

import pandas as pd
df = pd.DataFrame({"A": [1, None, 3], "B": ["x", None, "z"]})

# 填充缺失值
df.fillna({"A": df["A"].mean(), "B": "UNKNOWN"}, inplace=True)

# 删除全为NA的列
df.dropna(axis=1, how="all", inplace=True)

2.快速去重

# 基于某列去重
df.drop_duplicates(subset=["column"], keep="last")

# 统计重复行
df[df.duplicated()]

二、数据转换技巧4.应用函数优化

3.列类型转换

# 批量转换类型
df = df.astype({"price": "float32", "quantity": "int8"})

# 智能转换（如字符串转日期）
df["date"] = pd.to_datetime(df["date"], errors="coerce")

4.应用函数优化

# 避免低效的apply
df["new_col"] = df["col"].str.upper()  # 向量化字符串操作

# 必须用apply时加速
df["score"] = df["data"].apply(
    lambda x: x*2, 
    engine="numba"  # 需安装numba
)

三、数据分析技巧

5.分组聚合优化

# 标准写法
df.groupby("department")["sales"].sum()

# 多维度聚合（更高效）
df.groupby("department").agg(
    total_sales=("sales", "sum"),
    avg_price=("price", "mean")
)

6.条件筛选技巧

# 替代低效的iterrows
mask = (df["age"] > 30) & (df["city"] == "Beijing")
result = df.loc[mask]

# 查询复杂条件
df.query("age > 30 & city == 'Beijing'")

四、性能优化技巧

7.大数据分块处理

# 分块读取CSV
chunk_size = 10_000
for chunk in pd.read_csv("large.csv", chunksize=chunk_size):
    process(chunk)

# 使用Dask处理超大数据
import dask.dataframe as dd
ddf = dd.read_csv("huge/*.csv")

8.内存优化

# 减小数值类型内存
df["id"] = df["id"].astype("int32")  # 默认int64

# 分类数据优化
df["category"] = df["category"].astype("category")

五、实用工具函数

9.数据采样

# 随机抽样
sample = df.sample(n=1000, random_state=42)

# 分层抽样
from sklearn.model_selection import train_test_split
train, test = train_test_split(df, test_size=0.2, stratify=df["label"])

10.数据透视

# 快速透视表
pivot = pd.pivot_table(
    df, 
    values="sales", 
    index="region", 
    columns="month", 
    aggfunc="sum",
    fill_value=0
)

六、高效I/O操作

11.文件读写优化

# 读取时指定列（减少内存）
cols = ["name", "price"]
df = pd.read_csv("data.csv", usecols=cols)

# 保存为parquet格式（比CSV快10倍）
df.to_parquet("data.parquet", engine="pyarrow")

12.数据库交互

# 批量插入数据
from sqlalchemy import create_engine
engine = create_engine("postgresql://user:pass@localhost/db")
df.to_sql("table", engine, if_exists="append", index=False, chunksize=1000)

七、可视化辅助

13.快速数据探查

# 生成统计报告
from pandas_profiling import ProfileReport
profile = ProfileReport(df, title="Data Report")
profile.to_file("report.html")

# 缺失值可视化
import missingno as msno
msno.matrix(df)

八、高级技巧

14.并行处理

from multiprocessing import Pool

def process_chunk(chunk):
    return chunk * 2

with Pool(4) as p:  # 4个进程
    results = p.map(process_chunk, [df1, df2, df3])

15.使用eval优化计算

# 比常规运算快3倍
df.eval("profit = revenue - cost", inplace=True)

避坑指南

1. 避免链式赋值

# 错误写法
df[df["age"] > 30]["score"] = 100  # 可能不生效

# 正确写法
df.loc[df["age"] > 30, "score"] = 100

2. 慎用iterrows()

• 比向量化操作慢 1000倍 以上

3. 及时释放内存

del df  # 删除大对象
import gc
gc.collect()  # 手动触发垃圾回收

性能对比（处理100万行数据）

掌握这些技巧后，你的数据处理效率将显著提升！关键原则：
向量化操作 > 循环
内存映射 > 全加载
批处理 > 单条处理