t 检验的 3 种常用方法及在 Python 中使用样例
off999 2024-10-22 13:39 18 浏览 0 评论
t 检验是一种统计技术,可以告诉人们两组数据之间的差异有多显著。 它通过将信号量(通过样本或总体平均值之间的差异测量)与这些样本中的噪声量(或变化)进行比较来实现。 有许多有用的文章会告诉你什么是 t 检验以及它是如何工作的,但没有太多材料讨论 t 检验的不同变体以及何时使用它们。 本文将介绍 t 检验的 3 种变体、何时使用它们以及如何在 Python 中运行它们。
单样本 t 检验
单样本 t 检验将数据样本的平均值与一个特定值进行比较。 最常见的一个例子是可口可乐想要确保装瓶厂在每个罐头中倒入适量的苏打水:他们想要每个罐装 355 毫升,因此可以抽取罐装样品并测量倒入每个罐装的确切毫升数。 由于机械过程不精确,有些罐头的容量可能超过 355 毫升,而有些罐头的容量可能会变少。 通过对罐子样本进行单样本 t 检验,可以测试机器是否向每个罐子中倒入与 355 毫升液体不同的统计学显著量。
它是如何工作的?
1、陈述原假设和备择假设。原假设 (H0) 将是样本均值与特定值(总体均值)没有差异,而备择假设 (H1) 则表明存在差异。使用上面的示例,它们将类似于:
- H0:平均每罐可乐有355ml。
- H1:平均每罐可乐超过355ml。
注意:由于我选择了一个方向(即“每个罐子里有超过 355 毫升”),这变成了一个单边 t 检验而不是只说数量不是 355 毫升的双边 t 检验。
2、确定显著性水平:显著性水平,通常称为 alpha (α),是在实际为真时拒绝原假设的概率。通常使用 0.05 的 alpha 值,这意味着有 5% 的风险得出结论认为样本之间存在统计学上的显著差异,而这实际上只是由于噪声所导致的。
3、收集数据:要测试的值 (μ)、样本均值 (x?)、样本标准差 (S)、样本观察次数 (n),并将它们代入以下公式计算 t 统计量:
4、将t统计量和自由度代入t表,得到相应的p值。将这个p值与你选择的alpha水平比较,如果它更小,你就可以拒绝原假设。
但是这类测试的有效性需要3个假设:
- 样本是独立的
- 数据近似正态分布
- 随机采样
代码示例
Scipy 的 stats 库有一个方便的 ttest_1samp 方法,当给定数据样本和要比较的总体均值时,该方法将计算 t-stat 和 p-value。 下面的代码演示了使用该函数为上述示例运行一个示例 t 检验。
# Import numpy and scipy
import numpy as np
from scipy import stats
# Create fake data sample of 30 cans from 2 factories
factory_a = np.full(30, 355) + np.random.normal(0, 3, 30)
factory_b = np.full(30, 353) + np.random.normal(0, 3, 30)
# Run a 1 sample t-test for each one
a_stat, a_pval = stats.ttest_1samp(a=factory_a, popmean=355, alternative='two-sided')
b_stat, b_pval = stats.ttest_1samp(a=factory_b, popmean=355, alternative='two-sided')
# Display results
print("Factory A- t-stat: {:.2f} pval: {:.4f}".format(a_stat, a_pval))
print("Factory B- t-stat: {:.2f} pval: {:.4f}".format(b_stat, b_pval))
## Output
# Factory A- t-stat: 0.37 pval: 0.7140
# Factory B- t-stat: -3.96 pval: 0.000
在这里,我创建了来自工厂 A 和工厂 B 的 30 个罐头的两个数据样本。对于工厂 A,数据的平均值为 355并添加了噪声项,但对于工厂 B,数据的平均值为 353并添加了噪声。 对两者运行单样本 t 检验,我们看到工厂 A 的 p 值为 0.71,工厂 B 的 p 值为 0.0004。工厂 A 的 p 值远高于 0.05 的标准 alpha 水平,但工厂 B 低于该水平 阈值允许我们拒绝原假设。
双样本 t 检验
双样本 t 检验不是将数据样本的平均值与单个值(总体平均值)进行比较,而是比较两个独立数据样本的平均值。 还是上面的例子,如果想要比较 A 工厂和 B 工厂的罐装液体的平均量,就可以使用此方法。
它是如何工作的?
1、与单样本 t 检验类似,我们陈述原假设和备择假设。 以两个工厂为例,它们将是:
H0:两家工厂的平均填充量没有显著差异
H1:两家工厂的平均填充量存在显著差异
注意:重要的是要记住,原假设和备择假设总是关于一般人群,而不是从中抽取的样本
2、选择一个显著性水平(我们将再次选择 0.05)
3、计算两个样本的均值(x?)、标准差(S)和样本量(N),代入下式,得到一个t统计量
4、将 t 统计量和自由度代入 t 表,得到相应的 p 值。 将该 p 值与所选的 alpha 水平进行比较,如果它更小,则可以拒绝原假设。
与单样本 t 检验一样,此检验也必须满足一些假设:
- 两个样本是独立的
- 两个样本近似正态分布
- 两个样本的方差大致相同
代码示例
Scipy 的 ttest_ind 方法接收两个数据样本,并且与 ttest_1samp 类似,从测试中返回一个 t 统计量和相应的 p 值。 下面的代码演示了使用该函数来运行上面的示例用例。
# Import numpy and scipy
import numpy as np
from scipy import stats
# Create fake data sample of 30 cans from 2 factories
factory_a = np.full(30, 355) + np.random.normal(0, 3, 30)
factory_b = np.full(30, 353) + np.random.normal(0, 3, 30)
# Run a two sample t-test to compare the two samples
tstat, pval = stats.ttest_ind(a=factory_a, b=factory_b, alternative="two-sided")
# Display results
print("t-stat: {:.2f} pval: {:.4f}".format(tstat, pval))
## Output
# t-stat: 3.15 pval: 0.0026
由于这个 0.0026 检验的 p 值低于 0.05 的标准 alpha,因此拒绝原假设。
配对 t 检验
配对 t 检验通常比较随时间变化同一实体的两个测量值。 例如,如果想要测试装瓶培训计划的有效性,他们可以比较每位员工在接受培训之前和之后的平均装瓶率。
它是如何工作的?
与一样本和二样本 t 检验类似,必须说明原假设和备择假设,选择显著性水平,计算 t 统计量,并将其与 t 表中的自由度一起使用以获得 p 值 . 同样,t 统计量的公式不同,如下所示,其中 d 是每个配对值的差异,n 是样本数。
这个检验的另一种描述方式是:配对 t 检验本质上只是对每个配对样本的差异进行单样本 t 检验! 在这种情况下,原假设是配对样本差值为零。
代码示例
Scipy 的 ttest_rel 方法接收两个配对数据数组,并且类似于 ttest_1samp 和 ttest_ind 函数,返回一个 t 统计量和相应的 p 值。 在下面的代码中,我首先定义了一组员工装瓶率,每分钟随机瓶数介于 10 到 20 之间。然后我使用“apply_training”函数模拟培训,该函数可以将生产率降低 1 瓶/分钟,或者提高最多 4 瓶/分钟。 与前面两个示例类似,我将训练前后的生产力数组输入 scipy 的 ttest_rel 函数并打印输出。
# Import numpy and scipy
import numpy as np
from scipy import stats
# Create array of worker bottling rates between 10 and 20 bottles/min
pre_training = np.random.randint(low=10, high=20, size=30)
# Define "training" function and apply
def apply_training(worker):
return worker + np.random.randint(-1, 4)
post_training = list(map(apply_training, pre_training))
# Run a paired t-test to compare worker productivity before & after the training
tstat, pval = stats.ttest_rel(post_training, pre_training)
# Display results
print("t-stat: {:.2f} pval: {:.4f}".format(tstat, pval))
## Output
# t-stat: 2.80 pval: 0.0091
最后,作为上面描述的总结,这里演示了配对 t 检验如何与配对差异的单样本 t 检验相同。 在下面的代码片段中,获取了 post_training 和 pre_training 数组之间的差异,并对总体平均值 0 的差异进行了单样本 t 检验(因为零假设是样本之间没有差异)。 正如预期的那样,t 统计量和 p 值与配对 t 检验完全相同!
# Take differences in productivity, pre vs. post
differences = [x-y for x,y in zip(post_training, pre_training)]
# Run a 1-sample t-test on the differences with a popmean of 0
tstat, pval = stats.ttest_1samp(differences, 0)
# Display results
print("t-stat: {:.2f} pval: {:.4f}".format(tstat, pval))
## Output
# t-stat: 2.80 pval: 0.0091
最后,感谢阅读
作者:Eric Onofrey
相关推荐
- python入门到脱坑经典案例—清空列表
-
在Python中,清空列表是一个基础但重要的操作。clear()方法是最直接的方式,但还有其他方法也可以实现相同效果。以下是详细说明:1.使用clear()方法(Python3.3+推荐)...
- python中元组,列表,字典,集合删除项目方式的归纳
-
九三,君子终日乾乾,夕惕若,厉无咎。在使用python过程中会经常遇到这四种集合数据类型,今天就对这四种集合数据类型中删除项目的操作做个总结性的归纳。列表(List)是一种有序和可更改的集合。允许重复...
- Linux 下海量文件删除方法效率对比,最慢的竟然是 rm
-
Linux下海量文件删除方法效率对比,本次参赛选手一共6位,分别是:rm、find、findwithdelete、rsync、Python、Perl.首先建立50万个文件$testfor...
- 数据结构与算法——链式存储(链表)的插入及删除,
-
持续分享嵌入式技术,操作系统,算法,c语言/python等,欢迎小友关注支持上篇文章我们讲述了链表的基本概念及一些查找遍历的方法,本篇我们主要将一下链表的插入删除操作,以及采用堆栈方式如何创建链表。链...
- Python自动化:openpyxl写入数据,插入删除行列等基础操作
-
importopenpyxlwb=openpyxl.load_workbook("example1.xlsx")sh=wb['Sheet1']写入数据#...
- 在Linux下软件的安装与卸载(linux里的程序的安装与卸载命令)
-
通过apt安装/协助软件apt是AdvancedPackagingTool,是Linux下的一款安装包管理工具可以在终端中方便的安装/卸载/更新软件包命令使用格式:安装软件:sudoapt...
- Python 批量卸载关联包 pip-autoremove
-
pip工具在安装扩展包的时候会自动安装依赖的关联包,但是卸载时只删除单个包,无法卸载关联的包。pip-autoremove就是为了解决卸载关联包的问题。安装方法通过下面的命令安装:pipinsta...
- 用Python在Word文档中插入和删除文本框
-
在当今自动化办公需求日益增长的背景下,通过编程手段动态管理Word文档中的文本框元素已成为提升工作效率的关键技术路径。文本框作为文档排版中灵活的内容容器,既能承载多模态信息(如文字、图像),又可实现独...
- Python 从列表中删除值的多种实用方法详解
-
#Python从列表中删除值的多种实用方法详解在Python编程中,列表(List)是一种常用的数据结构,具有动态可变的特性。当我们需要从列表中删除元素时,根据不同的场景(如按值删除、按索引删除、...
- Python 中的前缀删除操作全指南(python删除前导0)
-
1.字符串前缀删除1.1使用内置方法Python提供了几种内置方法来处理字符串前缀的删除:#1.使用removeprefix()方法(Python3.9+)text="...
- 每天学点Python知识:如何删除空白
-
在Python中,删除空白可以分为几种不同的情况,常见的是针对字符串或列表中空白字符的处理。一、删除字符串中的空白1.删除字符串两端的空白(空格、\t、\n等)使用.strip()方法:s...
- Linux系统自带Python2&yum的卸载及重装
-
写在前面事情的起因是我昨天在测试Linux安装Python3的shell脚本时,需要卸载Python3重新安装一遍。但是通过如下命令卸载python3时,少写了个3,不小心将系统自带的python2也...
- 如何使用Python将多个excel文件数据快速汇总?
-
在数据分析和处理的过程中,Excel文件是我们经常会遇到的数据格式之一。本文将通过一个具体的示例,展示如何使用Python和Pandas库来读取、合并和处理多个Excel文件的数据,并最终生成一个包含...
- 【第三弹】用Python实现Excel的vlookup功能
-
今天继续用pandas实现Excel的vlookup功能,假设我们的2个表长成这样:我们希望把Sheet2的部门匹在Sheet1的最后一列。话不多说,先上代码:importpandasaspd...
- python中pandas读取excel单列及连续多列数据
-
案例:想获取test.xls中C列、H列以后(当H列后列数未知时)的所有数据。importpandasaspdfile_name=r'D:\test.xls'#表格绝对...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python自定义函数 (53)
- python进度条 (67)
- python吧 (67)
- python字典遍历 (54)
- python的for循环 (65)
- python格式化字符串 (61)
- python串口编程 (60)
- python读取文件夹下所有文件 (59)
- java调用python脚本 (56)
- python操作mysql数据库 (66)
- python字典增加键值对 (53)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python人脸识别 (54)
- python多态 (60)
- python命令行参数 (53)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)