百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

Python:一键提取千万个Excel指定数据,告别枯燥重复工作

off999 2024-11-27 18:51 38 浏览 0 评论


摘要: 每月两次,每次数天,面对着上百个Excel表的数据处理任务,重复、枯燥、耗时,崩溃。直到他发现了Python自动化办公的奥秘...


引言

在数据分析的世界里,小李是一名普通的数据分析师。每个月,他都要面对一项艰巨的任务:从上千个Excel表中提取特定的数据,汇总到一个新的工作簿中。传统的方法,需要他逐个打开Excel表,按列筛选,复制粘贴,耗时耗力,而且极易出错。初步估计,完成一个表格需要5分钟,上千个表格就是5000分钟的工作量。这项工作不仅重复性高,而且枯燥无味,让小李对工作失去了热情和热爱。

1.小李的苦恼

小李在后台留言说:“每个月,我都要花费数天的时间来完成这项重复性的工作。每次筛选、复制、粘贴,都是对我的耐心和精力的巨大考验。”

2.传统方法的局限性

小李的工作流程是这样的:

  • 打开每个Excel文件,逐个查找需要的数据。
  • 筛选出老板需要的数据列。
  • 复制并粘贴到新的工作表中。
  • 保存并关闭每个文件。

这个过程不仅耗时,而且容易出错。每一次的筛选都可能遗漏数据,每一次的复制粘贴都可能引入错误。

3.Python自动化的解决方案

小李关注了我们的公众号,并在后台留言了自己的问题。我们为他提供了一个Python自动化脚本,能够批量处理文件夹下所有Excel文件,提取特定数据到新的工作簿中。

import os
import xlwings as xw
import pandas as pd




def extract_data(folder_path, dst, name):
    if not os.path.exists(folder_path):
        print('文件夹路径不正确,请检查')
        return


    # 启动Excel应用,不显示界面
    app = xw.App(visible=False, add_book=False)
    try:
        files = [os.path.join(folder_path, f) for f in os.listdir(
            folder_path) if f.endswith('.xlsx')]
        data = []
        for file in files:
            workbook = app.books.open(file)
            for sheet in workbook.sheets:
                values = sheet.range('A1').expand().options(pd.DataFrame).value
                filtered = values[values['部门'] == name]##此处的条件可以自定义任意多个
                if not filtered.empty:
                    data.append(filtered)
            workbook.close()
        if data:
            new_workbook = app.books.add()
            new_worksheet = new_workbook.sheets.add(name)
            new_worksheet.range('A1').value = pd.concat(
                data, ignore_index=True)
            new_workbook.save(dst)
            new_workbook.close()
        else:
            print(f"未找到名称为{name}的数据")
    except Exception as e:
        print(f"错误信息: {e}")
    finally:
        app.quit()




# 使用示例
folder_path = '年假_按部门'
dst = './汇总数据.xlsx'
name = '工程部'
extract_data(folder_path, dst, name)

4.效果展示

通过上述脚本,小李可以一键提取上百个Excel表中的特定数据,汇总到一个新工作簿中。整个过程只需几秒钟,准确无误,大大提升了工作效率,同时也让小李重新找回了对工作的热情。

结语

Python自动化不仅仅是一种技术,更是一种工作方式的革新。它能够帮助我们从重复性劳动中解放出来,让我们有更多时间去做更有创造性的工作。希望小李的故事能够激励更多的人,去探索和利用Python自动化办公的无限可能。


如果你也像小李一样,面临着重复性工作的苦恼,或者对Python脚本的编写有任何疑问,欢迎在评论区留言,我们将为你提供一对一的技术支持!

数海丹心

大数据和人工智能知识分享与应用

132篇原创内容

公众号



相关推荐

apple id怎么找回密码(Apple ID怎么找回密码没有苹果手机)

可以用ID找回密码。因为在注册Apple账号时必须要添加邮箱或手机号码,所以当忘记密码时,可以通过输入该账号的邮箱或手机号码来找回密码。具体步骤为:在登录页面点击“忘记密码”,选择“使用其他方式找回”...

电脑磁盘受损怎样修复(电脑磁盘损坏)

方法一:一般问题修复  1.硬盘坏常的现象是开机或运行时容易蓝屏,但还是能进系统。这个问题一般比较的容易修复,主要是系统分区出问题了。我们打开DOS命令提示符窗口,输入命令“chkdskc:/f...

mac地址在哪里查(mac地址在哪里查找啊)

查看电脑MAC地址的五种方法如下:方法一:通过命令提示符查看点击“开始”菜单,在“搜索程序和文件”输入框中输入“cmd”,然后回车。回车后,弹出命令符窗口,输入“ipconfig/all”,然后回车。...

win10u盘系统盘制作(win10u盘做系统详细步骤)

要用U盘制作一个Windows10系统盘,您可以按照以下步骤进行操作:1. 准备一个至少8GB容量的U盘,并确保其中没有重要数据,因为制作系统盘会将U盘格式化。2.&n...

电脑怎么更新win10(电脑怎么更新浏览器)

windows10升级版本方法如下一、首先,打开要更新的电脑,进入win10系统,在桌面左下角点击“开始”按钮。二、然后,在“开始”菜单中点击“设置”点击打开。三、然后,在电脑设置中选择“更新与安全”...

联想电脑恢复出厂设置系统(联想系统恢复出厂系统)

1.打开电脑,鼠标点击屏幕左下角的【开始】图标,再点击【设置】图标。  2.进入【Windows设置】界面后,点击【更新和安全】-【恢复】。  3.点击【重置此电脑】下的【开始】按钮,根据需要选择【保...

手机版爱思助手app下载苹果版

第一步:我们先在电脑上安装好爱思助手,并且把手机与电脑连接起来;  第二步:在电脑上打开爱思助手以后,点击顶部的“软件资源”栏目;  第三步:随后在软件资源列表中即可看到“爱思助手”应用,点击...

ie浏览器图标删除不了(ie浏览器从桌面无法删除)

  方法一:  1、点击“开始”,在搜索中输入“gpedit.msc”回车打开注册表;  2、点击“用户配置-管理模板-桌面”左侧的下拉按钮;  3、单击”桌面“,右侧弹出桌面的设置栏;  4、双击“...

bitlocker是什么意思(bitlocker属于什么锁)

Bitlocker的意思:驱动器加密;磁盘加密;硬盘加密。BitLocker驱动器加密它是在WindowsVista中新增的一种数据保护功能,主要用于解决一个人们越来越关心的问题:由计算机设备的物理...

win10开机启动文件夹在哪里(电脑开机启动文件夹win10)

win7下:在运行里打入gpedit.msc然后回车。用户配置-〉管理模板-〉系统点击右边“只运行指定的windows程序”点击允许的应用程序列表显示按钮在里面添加需要运行的程序,...

如何升级win11专业版(升级win11专业版会删掉东西吗)

简单来说,目前升级到Windows11系统上,有三种常见方法:1、通过微软推送更新,从Windows更新升级。2、更新不求人,通过Win11更新助手升级。助手更新系统也非常简单省心。3、无视硬件限制...

office2007支持win10吗(office2007支持win7吗)

1不兼容2Office2007和Windows10之间存在一些兼容性问题。Office2007是较旧的版本,而Windows10是较新的操作系统。因此,某些功能可能无法在Office20...

rar解压软件pc版(pc端rar解压软件)
  • rar解压软件pc版(pc端rar解压软件)
  • rar解压软件pc版(pc端rar解压软件)
  • rar解压软件pc版(pc端rar解压软件)
  • rar解压软件pc版(pc端rar解压软件)
解压软件rar下载(解压软件rar下载什么)
解压软件rar下载(解压软件rar下载什么)

rar是一种文件压缩格式,可以把一个文件压缩到只有原来文件的几分之一大小。大大节省了存储空间。rar文件怎么打开呢,需要电脑上安装文件压缩软件,解压才能打开压缩包里的文件。WinRAR软件是用的最多的压缩软件,一般电脑装系统时都装了这个软件...

2026-01-12 04:51 off999

戴尔电脑官方售后服务网点(戴尔电脑官方售后地点)

戴尔笔记本电脑维修点有4个,地点如下:A:戴尔笔记本电脑维修点地址:上海市长宁区长宁路1027号兆丰广场5层B:戴尔笔记本电脑维修点地址:上海市徐汇区漕溪北路45号C:戴尔笔记本电脑维修点地址:上...

取消回复欢迎 发表评论: