百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

Python时间序列分析之 时间重采样(降采样和升采样)

off999 2024-10-02 18:50 17 浏览 0 评论

上篇文章中,我们学习了如何使用pandas库中的date_range()函数生成时间序列索引,而且我们知道我们可以生成不同频率的时间索引,比如按小时、按天、按周、按月等等,因此就会引出另外一个问题,如果我们相对数据做不同频率的转换,该怎么做,pandas库中是否有现成的方法可供使用呢?带着这个问题,我们本次就来学习下数据重采样的知识。

首先,简单解释什么是数据重采样,所谓数据重采样就是将数据原有的频率转换到另一个频率上,如果是从低频率转换到高频率,那么就是升采样,比如原来的数据是按月统计的,通过升采样可以转换为按日的序列数据;相反,如果原来的数据是按日的时间序列数据,通过转换函数转换为按月的时间序列数据,那么我们就将这个过程称为降采样。不管是升采样还是降采样,都通过pandas中的resample函数完成,下面我们就具体来学习这个函数。

pandas.DataFrame.resample

pandas.DataFrame.resample()这个函数主要是用来对时间序列做频率转换,函数原型如下:

DataFrame.resample(rule, how=None, axis=0, fill_method=None, closed=None, label=None, convention='start', kind=None, loffset=None, limit=None, base=0, on=None, level=None),各参数含义如下列表:

降采样(高频数据到低频数据)

上面我们已经知道了重采样的函数和函数各参数的含义,下面我们就用一个例子演示降采样的过程。为了方便观察,这里我们生成10条日数据,如下:

import pandas as pd
import numpy as np
index=pd.date_range('20190115','20190125',freq='D')
data1=pd.Series(np.arange(len(index)),index=index)
data1

如上图,这里有10条日数据,现在我们将这按日统计的数据通过降采样的方法转化为按3日求和统计的数据,如下:

data1.resample(rule='3D',how='sum')

可以看到,原来10条按日统计的数据经过降采样转换变为4条(最后一条是2日的数据和)按每3天统计的数据,这就是降采样的过程,这里需要注意的是起算的节点。上面的例子中label这个参数默认的是left,现在我们改为right,看看有什么区别,如下:

data1.resample(rule='3D',how='sum',label='right')

通过上面的对比,可以得出label这个参数控制了分组后聚合标签的取值。在label为right的情况下,将取分箱右侧的值作为新的标签。上面这个例子基本上演示了降采样的过程,当然我们可以调整how这个参数值进行不同的取值,如下:

data1.resample(rule='3D',how='mean')#取3天的平均值

也可以将聚合方法写到外面,如下:

data1.resample(rule='3D').mean()

取3天的最小值作为新标签值:

升采样(低频数据到高频数据)

上面演示了降采样的过程,下面我们演示升采样的过程,根据升采样的定义,我们只需在resample函数中改变频率即可,但与降采样不同的是升采样后新增频率的数为空值,为此,rasample也提供了3种方式进行填充,下面我们通过代码来演示。

data1.resample(rule='6H').asfreq()

可以看到,将原来的按日的数据进行升采样为6小时时,会产生很多空值,对于这种空值resample提供了3种方式,分别为ffill(取前面的值)、bfill(取后面的值)、interpolate(线性取值),这里我们分别进行测试,如下:

data1.resample(rule='6H').ffill()

可以看到,在ffill不带任何数字的情况下,填充了所有的空值,这里我们可以输入个数,从而指定要填充的空值个数,如下:

data1.resample(rule='6H').ffill(2)
data1.resample(rule='6H').bfill()
data1.resample(rule='6H').interpolate()

好了,今天的内容到此为止,下篇讲时间滑动窗口。喜欢的小伙伴请收藏和关注!

相关推荐

SPC相关的计算用excel和python实现【源码下载】

做SPC分析涉及到很多计算,比如CPK、PPK、概率图、PPM等等,网上很多公式,但具体实现却不是那么容易的。我们整理了这些用excel和python实现的代码。包括但不限于以下的内容:SPC分析中的...

Python学不会来打我(34)python函数爬取百度图片_附源码

随着人工智能和大数据的发展,图像数据的获取变得越来越重要。作为Python初学者,掌握如何从网页中抓取图片并保存到本地是一项非常实用的技能。本文将手把手教你使用Python函数编写一个简单的百度图片...

django python数据中心、客户、机柜、设备资源管理平台源码分享

先转发后关注,私信“资源”即可免费获取源码下载链接!本项目一个开源的倾向于数据中心运营商而开发的,拥有数据中心、客户、机柜、设备、跳线、物品、测试、文档等一些列模块的资源管理平台,解决各类资源集中管理...

熬夜也值得学习练手的108个Python项目(附源码),太实用了!

现在学编程的人越来越多,Python因为简单好上手、功能又强大,成了很多人的首选。不管是做数据分析、人工智能,还是写网络程序、自动化脚本,Python都能派上用场。而且它诞生的时间比网页还早,作为...

这五个办公室常用自动化工具python源码,复制代码就能用

办公室自动化现在能看这文章的恐怕大部分都是办公室久坐工作者,很多都有腰肌劳损、肩周炎等职业病,难道就不能有个工具缓解一下工作量吗?那么恭喜你点进了这篇文章,这篇文章将使用python直接实现五个常...

将python源代码封装成window可执行程序教程

将python源代码封装成window可执行程序教程点击键盘win+r打开运行框在运行框中输入cmd,进入到命令行。在命令行中输入piplist去查看当前电脑中所有的库检查是否有pyinstall...

Python 爬虫如何爬取网页源码?(爬虫获取网页源代码)

下面教大家用几行代码轻松爬取百度首页源码。什么是urllib?urllib库是Python内置的HTTP请求库,它可以看做是处理URL的组件集合。urllib库包含了四大模块,具体如下:urllib....

Python RPC 之 Thrift(python是做什么的)

thrift-0.12.0python3.4.3Thrift简介:Thrift是一款高性能、开源的RPC框架,产自Facebook后贡献给了Apache,Thrift囊括了整个RP...

用Python编写FPGA以太网MAC(附源码下载方式)

来源:EETOP作者:ccpp123略作了解后发现,MyHDL不是高层次综合,它实际上是用Python的一些功能实现了一个Verilog仿真器,能对用Python写的仿Verilog语言进行仿...

python爬虫常用工具库总结(python爬虫工具下载)

说起爬虫,大家可能第一时间想到的是python,今天就简单为大家介绍下pyhton常用的一些库。请求库:实现基础Http操作urllib:python内置基本库,实现了一系列用于操作url的功能。...

手把手教你使用scrapy框架来爬取北京新发地价格行情(理论篇)

来源:Python爬虫与数据挖掘作者:霖hero大家好!我是霖hero。上个月的时候,我写了一篇关于IP代理的文章,手把手教你使用XPath爬取免费代理IP,今天在这里分享我的第二篇文章,希望大家可以...

2025年Python爬虫学习路线:第1阶段 爬虫基础入门开始

这个阶段的目标是让你熟悉Python的基础知识、了解HTTP请求和HTML是如何工作的,并最终完成你的第一个爬虫小项目——抓取名言!按照计划,我们首先要打好Python基础。Python就像是我们要...

如何入门 Python 爬虫?(python零基础爬虫)

1.很多人一上来就要爬虫,其实没有弄明白要用爬虫做什么,最后学完了却用不上。大多数人其实是不需要去学习爬虫的,因为工作所在的公司里有自己的数据库,里面就有数据来帮助你完成业务分析。什么时候要用到爬虫呢...

突破爬虫瓶颈:Python爬虫核心能力提升与案例实操

技术控必看!Python爬虫高手进阶全攻略,解锁数据处理高阶玩法在数字化时代,Python爬虫早已成为数据探索者手中的得力工具。从基础的网页抓取到复杂的数据处理,每一次技术升级都能带来新的突破。本文将...

网络爬虫开源框架(网络爬虫的框架)

目前开源爬虫下载框架是百花齐放,各个编程语言都有,以下主要介绍其中重要的几个:1)python:scrapy,pyspider,gcrawler2)Java:webmagic,WebCollector...

取消回复欢迎 发表评论: