前面几篇介绍了数据的相关性分析，通过相关性分析可以看出变量之间的相关性程度。如果我们已经发现变量之间存在明显的相关性了，接下来就可以通过回归分析，计算出具体的相关值，然后可以用于对其他数据的预测。本篇就从简单的两个变量的一元回归开始，后续陆续增加复杂变量以便更贴合实际。

在数据分析的世界里，一元线性回归是最基础也是最重要的统计分析工具之一。它不仅帮助我们理解两个变量之间的关系，还能用于预测和决策支持。本文将全面系统地介绍一元线性回归的理论知识，并通过Python模拟电商数据进行实战演练。

【基本概念】

一元线性回归分析主要用于研究自变量X与因变量Y之间的线性关系。其数学表达式为：

一元线性回归模型的基本假设包括：

线性关系：自变量与因变量之间存在线性关系。

独立性：误差项相互独立。

同方差性：误差项具有相同的方差。

正态性：误差项服从正态分布。

评估一元线性回归模型的好坏主要通过以下指标：

1.决定系数（R^2）

决定系数R^2是最常用的模型评价指标之一，它表示模型解释的变异占总变异的比例。R^2的取值范围是0到1，值越接近1，表示模型的拟合效果越好。

2.均方误差（MSE）

均方误差（MSE）衡量的是预测值与实际值之间差异的平均平方。MSE越小，表示模型的预测效果越好。

3.均方根误差（RMSE）

均方根误差（RMSE）是MSE的平方根，它与原始数据具有相同的单位，因此更容易解释。RMSE越小，表示模型的预测效果越好。

4.平均绝对误差（MAE）

平均绝对误差（MAE）衡量的是预测值与实际值之间差异的平均绝对值。MAE提供了一个没有方向性的误差度量，它不会受到异常值的过度影响。

5.调整决定系数（adj R^2）

调整决定系数adj R^2考虑了模型中参数的数量。当模型中增加不重要的变量时，R^2可能会增加，但adj R^2会减少，因此它是一个更好的模型复杂度评价指标。

其中，n是样本数量，p是模型中参数的数量（在一元线性回归中，p=2，包括截距和斜率）。

6.预测值与实际值的相关系数（r）

相关系数r衡量的是预测值与实际值之间的线性相关程度。r的取值范围是-1到1，值越接近1或-1，表示预测值与实际值之间的线性关系越强。

7.F统计量

F统计量用于检验整个回归模型的显著性。如果F统计量的值较大，且对应的p值小于显著性水平（通常为0.05），则拒绝原假设，认为模型整体上是显著的。

8.t统计量

t统计量用于检验单个参数（斜率）的显著性。如果t统计量的值较大，且对应的p值小于显著性水平，则认为该参数是显著的，即变量X对Y有显著影响。

其中，SE(β1)是斜率估计的标准误差。

【案例演示】

为了更好地理解一元线性回归，我们将通过Python进行实战演练，模拟一个电商数据的分析过程。

首先加载相关的包，然后还是根据之前的广告费用投入和销售额进行数据模拟，代码和结果如下↓

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error, r2_score, mean_absolute_error
plt.rcParams['font.sans-serif'] = ['SimHei']  # 设置中文字体为黑体
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号
# 生成模拟数据
np.random.seed(123)
n = 100
advertising = np.random.normal(5000, 1000, n)
sales = 20000 + 5 * advertising + np.random.normal(0, 2000, n)
data = pd.DataFrame({'广告投入': advertising, '销售额': sales})

在进行回归分析之前，先对数据进行可视化和基本统计分析↓

sns.scatterplot(x='广告投入', y='销售额', data=data)
plt.title('广告投入与销售额的散点图')
plt.xlabel('广告投入')
plt.ylabel('销售额')
plt.show()

通过散点图，我们可以初步判断广告费用和销售额之间存在线性关系。

然后就可以进行一元回归的模型建立的，我们分别使用sklearn和专门的统计包来演示，首先是sklearn↓

1.分割自变量和因变量

X = data['广告投入'].values.reshape(-1, 1)
Y = data['销售额'].values.reshape(-1, 1)

2.创建线性回归模型

model = LinearRegression()

3.训练模型

model.fit(X, Y)

4.获取模型参数

beta_0 = model.intercept_[0]
beta_1 = model.coef_[0][0]
print(f'截距 (beta_0): {beta_0}')
print(f'斜率 (beta_1): {beta_1}')

截距 (beta_0): 20127.753953274245

斜率 (beta_1): 4.966814908000651

5.进行预测

Y_pred = model.predict(X)

6.模型评估与解释

通过计算和分析模型的各种评估指标，判断模型的好坏↓

# 计算均方误差
mse = mean_squared_error(Y, Y_pred)
print(f'均方误差 (MSE): {mse}')


# 计算均方根误差
rmse = np.sqrt(mse)
print(f'均方根误差 (RMSE): {rmse}')


# 计算平均绝对误差
mae = mean_absolute_error(Y, Y_pred)
print(f'平均绝对误差 (MAE): {mae}')


# 计算R平方值
r2 = r2_score(Y, Y_pred)
print(f'R平方值 (R^2): {r2}')


# 计算调整R平方值
adj_r2 = 1 - (1 - r2) * (len(Y) - 1) / (len(Y) - X.shape[1] - 1)
print(f'调整R平方值 (R^2): {adj_r2}')

7.绘制残差图

# 计算残差
residuals = Y - Y_pred

# 绘制残差图
plt.scatter(X, residuals, color='purple')
plt.axhline(y=0, color='red', linestyle='--')
plt.title('残差图')
plt.xlabel('广告投入')
plt.ylabel('残差')
plt.show()

如果残差图显示残差随机分布在零线附近，没有明显的模式，表明模型拟合良好。如果残差逐渐增大形成一个漏斗形，可能存在异方差性。如果残差形成一个曲线模式，可能存在非线性关系未被捕捉。从上图可以看出，残差随机分布，数据表现较好。

8.绘制QQ图

import scipy.stats as stats
stats.probplot(residuals.flatten(), dist="norm", plot=plt)
plt.show()

如果残差数据点大致落在45度对角线上，则表明残差接近正态分布，这是回归分析中常见的假设之一。如果数据点显著偏离对角线，表明残差不服从正态分布，可能影响回归结果的置信区间和假设检验。从结果来看，数据表现较好，接近正态分布。

9.绘制实际值与预测值

plt.scatter(X, Y, color='blue', label='实际值')
plt.plot(X, Y_pred, color='red', label='预测值')
plt.title('广告投入与销售额的线性回归')
plt.xlabel('广告投入')
plt.ylabel('销售额')
plt.legend()
plt.show()

【statsmodels包进行回归】

下面再使用statsmodels包进行演示，这是专门的统计包，使用起来比较简单，而且结果指标也更丰富↓

import statsmodels.api as sm
# 添加常数项
X = sm.add_constant(data['广告投入'])
# 构建模型
model = sm.OLS(data['销售额'], X)
# 训练模型
results = model.fit()
# 输出详细统计参数
print(results.summary())

模型摘要中包含了许多重要的统计参数，下面我们将详细介绍这些参数的含义和判别方式：

参数估计（Coef.）

const（截距）和Age（斜率）：这些是模型参数的估计值。截距是当自变量X为0时因变量Y的预测值，斜率表示自变量X每变化一个单位时因变量Y的平均变化量。这里可以看到，如果广告费用增加10000元，销售额就会增加49668元。

标准误差（Std. Error）

标准误差衡量了参数估计的不确定性。标准误差越小，表示参数估计越精确。广告投入字段的stderr为0.174，表现较好。

t值（t）

t值是参数估计值与其标准误差的比值，用于检验参数是否显著不为零。t值越大，表示参数越显著。

P值（P>|t|）

P值是基于t值计算的概率，用于判断参数的显著性。如果P值小于显著性水平（通常为0.05），则拒绝原假设，认为参数显著不为零。整体t值较大，p值很小，结果显著。

置信区间（[95.0% Conf. Int.]）

置信区间提供了参数估计的区间范围，表示在95%的置信水平下参数的真实值可能落入的范围。这里广告投入的范围在[4.622,5.311]。

R-squared（R-squared）

R-squared是决定系数，表示模型解释的变异占总变异的比例。R-squared越接近1，表示模型的拟合效果越好。

Adj. R-squared（Adj. R-squared）

调整决定系数考虑了模型中参数的数量，是一个更好的模型复杂度评价指标。

F-statistic（F-statistic）

F统计量用于检验整个回归模型的显著性。如果F统计量的值较大，且对应的P值小于显著性水平，则认为模型整体上是显著的。这里F是817较大，且P值接近于0，模型整体显著。

Prob (F-statistic)（Prob (F-statistic)）

这是基于F统计量计算的概率，用于判断模型的整体显著性。如果P值小于显著性水平，则拒绝原假设，认为模型整体上是显著的。

残差统计量

这些统计量用于检验模型的残差是否满足正态性、独立性和同方差性等假设。

Omnibus检验：用于检验残差是否同时满足正态性和对称性。Omnibus值越小，表示残差越符合正态分布。Prob(Omnibus)是对应的p值，p值越大，越表明残差符合正态分布。如果p值小于显著性水平（如0.05），则说明残差不符合正态分布。Prob(Omnibus)是对应的p值是0.081，说明残差符合正态分布。

Durbin-Watson统计量：用于检测残差的自相关性，取值范围为0到4。接近2表示不存在自相关，接近0或4表示存在正自相关或负自相关。一般来说，1.5到2.5之间的值表示残差没有显著的自相关。这里是一元回归，不看这个参数。

Jarque-Bera检验：用于检验残差的正态性。该检验基于残差的偏度和峰度，统计量值越接近0，表示残差越符合正态分布。Prob(Jarque-Bera)是对应的p值，p值越大，越表明残差符合正态分布。如果p值小于显著性水平（如0.05），则说明残差不符合正态分布。Prob(Jarque-Bera)是对应的p值是0.0769，说明残差符合正态分布。

End