百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

提升Python执行速度,1行代码就够了

off999 2024-10-24 12:22 56 浏览 0 评论

作者:【七步编程】公众号

缓存是一项从底层到高层都广泛应用的技术,无论是前端还是后端,有一定开发经验的程序员对缓存应该都不陌生。缓存是指可以进行高速数据交换的存储器,它先于内存与CPU交换数据,因此速率很快。

在Python开发过程中,有一些函数的结果可能会被反复调用,如果这个函数耗时较少还无伤大雅。

但是,如果一个函数耗时10分钟,或者频繁的发送rest请求,那么耗时就会呈现非线性上升。

那么,对于很多开发人员抱怨的Python,是否能够通过缓存来提升它的开发效率?

答案是肯定的!

本文就来介绍如果利用缓存这项技术,实现1行代码提升Python执行速度。

LRU

不同的编程语言,会有不同 的缓存策略,例如,通过哈希映射优先级队列等实现缓存。因此,不同的编程语言,在缓存的解决方案方面具有很大差异,可能需要几分钟,也可能需要几小时。

但是,在Python中,标准工具包functools实现了一种名为LRU(Least Recently Used)的缓存策略,可以通过传入参数,来设定缓存最近多少次的计算结果,如果传入参数为None,那么则不缓存。

现在,为了让大家更加容易理解,先来举一个例子,

import time as tt
?
def func():
    num = 0
    for i in range(10):
        num += i
?
    return num
?
?
def main():
    return func() + func() + func() + func() + func() + func() + func()
?
?
t1 = tt.time()
main()
print("Time taken: {}".format(tt.time() - t1))
# 9.05990e-6

在这个示例中,反复的调用了func函数,总共耗时为0.009秒。

下面,通过functools工具包下LRU缓存再跑一下,

import time as tt
import functools
?
@functools.lru_cache(maxsize=5)
def func():
    num = 0
    for i in range(10):
        num += i
?
    return num
?
?
def main():
    return func() + func() + func() + func() + func() + func() + func()
?
?
t1 = tt.time()
main()
print("Time taken: {}".format(tt.time() - t1))
# 4.768371e-06

通过数据对比,发现运行时间减少了将近50%。

在调用lru_cache时,需要配置一个maxsize的参数,它代表着缓存最近几次的函数计算结果,如果参数为none则不进行缓存。

通过前面的对比,会发现利用缓存机制时间差别会很大,这是由于,重复调用函数,需要反复执行计算过程,而利用缓存,我们只需要进行快速读写,不再需要重复执行计算过程,这样会节省大部分时间。

但是,由于前面计算过程较为简单,只涉及简单的加法运算,在耗时方面给人直观的感受并不是很强烈。

那下面在以另外斐波那契数列的例子进行对比一下。

应该很多同学对斐波那契数列都不陌生,一个很典型的递归问题,在教材上也频繁的出现。

由于它递归计算的过程中,还会用到之前计算的结果,因此会涉及较多的重复计算,下面先看一下正常计算的耗时情况。

import time as tt
?
def fib(n):
  if n <= 1:
    return n
  return fib(n-1) + fib(n-2)
?
t1 = tt.time()
fib(30)
print("Time taken: {}".format(tt.time() - t1))
# 0.2073

下面,在利用LRU对它进行加速,看一下效果,

import time as tt
import functools
?
@functools.lru_cache(maxsize=5)
def fib(n):
  if n <= 1:
    return n
  return fib(n-1) + fib(n-2)
?
t1 = tt.time()
fib(30)
print("Time taken: {}".format(tt.time() - t1))
# 1.811981e-05

0.2073秒对比2.0981e-5秒之间差了4个量级,这样给人的直观感受应该就非常强烈了。

在涉及一些简单运算的过程中,即便是重复计算也无伤大雅。但是,如果涉及大量数据计算或者网络请求这类耗时的计算,利用缓存机制,只需要1行代码就可以节省可观的时间。既比重复计算节省时间,也要比多余定义变量简单。

相关推荐

python入门到脱坑经典案例—清空列表

在Python中,清空列表是一个基础但重要的操作。clear()方法是最直接的方式,但还有其他方法也可以实现相同效果。以下是详细说明:1.使用clear()方法(Python3.3+推荐)...

python中元组,列表,字典,集合删除项目方式的归纳

九三,君子终日乾乾,夕惕若,厉无咎。在使用python过程中会经常遇到这四种集合数据类型,今天就对这四种集合数据类型中删除项目的操作做个总结性的归纳。列表(List)是一种有序和可更改的集合。允许重复...

Linux 下海量文件删除方法效率对比,最慢的竟然是 rm

Linux下海量文件删除方法效率对比,本次参赛选手一共6位,分别是:rm、find、findwithdelete、rsync、Python、Perl.首先建立50万个文件$testfor...

数据结构与算法——链式存储(链表)的插入及删除,

持续分享嵌入式技术,操作系统,算法,c语言/python等,欢迎小友关注支持上篇文章我们讲述了链表的基本概念及一些查找遍历的方法,本篇我们主要将一下链表的插入删除操作,以及采用堆栈方式如何创建链表。链...

Python自动化:openpyxl写入数据,插入删除行列等基础操作

importopenpyxlwb=openpyxl.load_workbook("example1.xlsx")sh=wb['Sheet1']写入数据#...

在Linux下软件的安装与卸载(linux里的程序的安装与卸载命令)

通过apt安装/协助软件apt是AdvancedPackagingTool,是Linux下的一款安装包管理工具可以在终端中方便的安装/卸载/更新软件包命令使用格式:安装软件:sudoapt...

Python 批量卸载关联包 pip-autoremove

pip工具在安装扩展包的时候会自动安装依赖的关联包,但是卸载时只删除单个包,无法卸载关联的包。pip-autoremove就是为了解决卸载关联包的问题。安装方法通过下面的命令安装:pipinsta...

用Python在Word文档中插入和删除文本框

在当今自动化办公需求日益增长的背景下,通过编程手段动态管理Word文档中的文本框元素已成为提升工作效率的关键技术路径。文本框作为文档排版中灵活的内容容器,既能承载多模态信息(如文字、图像),又可实现独...

Python 从列表中删除值的多种实用方法详解

#Python从列表中删除值的多种实用方法详解在Python编程中,列表(List)是一种常用的数据结构,具有动态可变的特性。当我们需要从列表中删除元素时,根据不同的场景(如按值删除、按索引删除、...

Python 中的前缀删除操作全指南(python删除前导0)

1.字符串前缀删除1.1使用内置方法Python提供了几种内置方法来处理字符串前缀的删除:#1.使用removeprefix()方法(Python3.9+)text="...

每天学点Python知识:如何删除空白

在Python中,删除空白可以分为几种不同的情况,常见的是针对字符串或列表中空白字符的处理。一、删除字符串中的空白1.删除字符串两端的空白(空格、\t、\n等)使用.strip()方法:s...

Linux系统自带Python2&amp;yum的卸载及重装

写在前面事情的起因是我昨天在测试Linux安装Python3的shell脚本时,需要卸载Python3重新安装一遍。但是通过如下命令卸载python3时,少写了个3,不小心将系统自带的python2也...

如何使用Python将多个excel文件数据快速汇总?

在数据分析和处理的过程中,Excel文件是我们经常会遇到的数据格式之一。本文将通过一个具体的示例,展示如何使用Python和Pandas库来读取、合并和处理多个Excel文件的数据,并最终生成一个包含...

【第三弹】用Python实现Excel的vlookup功能

今天继续用pandas实现Excel的vlookup功能,假设我们的2个表长成这样:我们希望把Sheet2的部门匹在Sheet1的最后一列。话不多说,先上代码:importpandasaspd...

python中pandas读取excel单列及连续多列数据

案例:想获取test.xls中C列、H列以后(当H列后列数未知时)的所有数据。importpandasaspdfile_name=r'D:\test.xls'#表格绝对...

取消回复欢迎 发表评论: