百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

Python数据采集-多PDF文档进行关键字数据检索

off999 2024-09-21 20:59 41 浏览 0 评论

昨日,笨女朋友在一堆50多篇文献中,为了找出具有一句话那份文档,花了一个下午。很少傻,但是想想我们平时很多朋友、同事工作生活中都有这种“笨”行为,或是在一堆文件中找出某个文档,要买在一堆Excel中找出一份数据,等等。#真相来了#,如果你学会编程,会Python,你讲把效率大大提高。有人说,我找份文档还写个程序?写完程序我都找到了。可当下一次还要找的时候,你会发现,你有个程序就是坐着喝茶等结果。效率可想而知。显然,21世纪最贵的是数据,但是懂得获取数据是必要技能。

世界的好东西都是懒惰的人发明的

今天我们目标是一步一步来实现在一堆PDF文档中,寻找具有某个关键字/句的文档。

一 PDF文档读取

我们要实现的第一步显然是读取一个PDF文档,读取PDF文档的方法有很多。在Python我们习惯性用第三方库提高效率,这里我们介绍几个关于PDF的文档工具:

  • PDFMiner – 一个用于从PDF文档中抽取信息的工具。
  • PyPDF2 – 一个可以分割,合并和转换 PDF 页面的库。
  • ReportLab – 快速创建富文本 PDF 文档。

你肯定好奇,为什么我知道这些工具呢?显然我也不是无所不能,直接百度下Python PDF的库,平时无聊多积累即可。我们选用PDFMiner,方便快速读取PDF文档内容,下面我们简单介绍下PDFminer的安装过程:

如果有不知道Python怎么利用pip安装工具的,哪后面我们将补充些Python基础课程。

读取一个PDF文档:

参考pdfminer库的官方文档:https://media.readthedocs.org/pdf/pdfminer-docs/latest/pdfminer-docs.pdf

完全安装开发文档进行编写的代码如下

一个PDF页面的结构(详情参考官方在线文档):

运行结果:

这个过程类似你在打开一个个PDF并看到里面的内容。下面我们就要实现第二步,看到内容后,进行查找匹配。

二 检索匹配

我们第一步讲PDF文档的内容读取出来了,逻辑上,第二步就是将读取到的内容与我们需要查找的关键字/句,匹配起来,找出第几页第几行。我们使用正则表达式进行查询匹配,具体知识点,可以参考Python教材文档http://www.runoob.com/python/python-reg-expressions.html。逻辑简单为,正则表达式re查询匹配,然后返回匹配结构,如果不为None,就输出所在页和行。然后退出

具体实现代码如下:

完整代码如下:

运行效果如下:(30秒不到479页的PDF文档所有匹配结果)

· 一般我们看的资料文献都是,50页以内,检索起来还是比较快的,但我们要在一本书的PDF中找出一两句话或者关键词,这种检索方式就比较慢了,我们就可以采取相关性的方式来进行运算,运算两个文本的相识度。不过这个知识点是大数据开发的,后面我们会学习到。

三 实现文件夹下面所有文档自动匹配

根据上面的文本检索原理,我们下一步就是实现一个文件夹下面的所有文档进行自动检索,这才是我们想要的。

第一步:文件夹下所有PDF文件读取(含子目录)

实现效果如下:

第二步 逐本PDF文档进行匹配检索

封装代码如下:

运行结果如下(截图为两本书的检索情况):

到了这里,基本上我们已经实现了,在一堆PDF文档中进行检索出对应关键字的文本和页码行数并且输出。显然我们要向能将他使用起来,就要对路径和关键字这两个变量,在运行时输入。那么我们下一步就实现,运行时提示输入文件夹路径和需要检索的关键字,并且封装成EXE程序,方便在Windows平台下运行。

四 输入流及程序封装EXE

提示输入文件夹路径,提示输入需要检索的字句,提示确认开始:

代码如下

运行结果如下:

基本上到了这里我们程序已经完成,但是现在还是py文件,还不是正常人用的EXE程序,下面我们将py文件转换成EXE程序。

第一步安装pyinstaller

cmd-pip install pyinstaller

第二步 进入文件目录 执行 pyinstaller -F xxx.py

第三步当前目录下dist文件夹EXE文件

双击运行.发现报错:

查询文档,发现pyinstaller不支持Python3.6版本,换成python3.3打包或者

  • 电脑系统为win10 安装的是Python3.6(32位)
  • 安装pyinstaller 因为我Python3.6安装在D盘,所以在CMD中定位到D:\Python\Scripts,然后执行命令pip install pyinstaller,等待安装成功之后到https://github.com/pyinstaller/pyinstaller下载ZIP安装包,解压之后将PyInstaller文件夹复制到D:\Python36\Lib\site-packages目录下。因为pyinstall暂时不支Python3.6

进行打包,运行exe如下:

后面我们继续学习,Python数据采集。在海量PDF数据提取自己想要的数据,就是提取到效率,与财富。想要源码请评论,关注谢谢!

相关推荐

hdd硬盘和ssd(ssd硬盘和hdd硬盘是什么意思)

HDD硬盘和SSD硬盘是两种不同类型的电脑存储设备,它们有着以下区别:1.工作原理:HDD硬盘使用机械旋转的磁盘和读写磁头来存储和读取数据,而SSD硬盘则使用闪存存储数据,类似于USB闪存盘。2....

电脑免费软件下载大全(电脑上免费的下载软件)

正常情况下,如果我们想要在自己的电脑上面下载一个不要钱的单机游戏,那么我们是可以直接在我们的软件管理中心进行一个下载的,这个时候我们只需要通过一个权限就能够正常的下载,当然我们也是可以在一些小游戏的软...

mpp文件转换excel(mpp转换成pdf)

要将Excel表格转换为MPP格式,您可以按照以下步骤操作:1.打开Excel表格并确保数据按照项目的不同阶段或任务进行组织。2.将Excel表格中的数据复制到一个新的MicrosoftProj...

win7旗舰版开机密码忘记按f2

方法如下:开始-控制面板-用户帐户;在打开的更改用户帐户界面点击要更改的帐户;然后点击帐户左面的更改密码按钮;在打开的页面上,输入一次当前使用的密码,输入2次要更改的新密码然后保存退出就可以了...

笔记本无音频输出设备(笔记本无音频输出设备)

1、没有声卡驱动,解决方法就是找到笔记本的官网,下载电脑声卡的驱动安装即可。2、没有外界的音频播放设备,解决方法就是买一个外界的音频播放设备插到电脑主机的音频接口上即可。笔记本电脑显示未安装任何音频输...

iso文件能用手机打开吗(iso文件能用手机打开吗安全吗)

一般的压缩软件就可以打开的,比如,好压软件,这个打开只是解压形式的,如果你说的是运行iso文件,这个没有,况且安卓系统也不支持iso运行ISO文件一般用于光盘镜像文件的存储,如果想要在手机上运行ISO...

win7系统卡顿怎么优化(win7很慢很卡怎么优化)

1、首先打开安全卫士,进入安全卫士首页,单击软件窗口右下角的“更多”图标,打开扩展应用程序。2、单击选择“我的工具”。3、在我的工具菜单里面找到“人工服务”单击打开人工服务。4、在人工服务对话框有很多...

如何查看c盘微信聊天记录(如何查看c盘微信聊天记录内存大小)

微信群中的消息只要没删除基本都能保存,想要找微信群中几个多月前的消息可以直接根据日期来查找聊天记录。操作如下:1、打开想要查找记录的微信群,点击右上角人形图标;2、点击查找聊天内容;3、选择按日...

office2016家庭版激活密钥(office家庭版激活码2019)

走淘宝吧,因为零售版的密钥只能用一次。大概几块钱就能激活2016。如果你不在乎钱的话可以向我一样,订阅一个office365.实在不行可以和几个人一起买一个家庭版的365.出现这个情况,找微软申诉是没...

移动硬盘驱动器下载安装(移动硬盘驱动器下载安装教程)

1、右键单击您的桌面,选择“新建文件夹”,并命名该文件夹(例如“usb驱动程序”);2、然后到本站下载驱动程序;3、将其解压缩至在您的桌面上刚刚创建的usb驱动程序文件夹;4、单击开始菜单,然后选择设...

电脑硬盘格式化工具(电脑 格式化硬盘)

硬盘格式化工具很多,PQMACGIG8.0(中文就叫硬盘分区魔法师)是比较好的一个,这个是在WINDOWS下比叫好用,(个人感觉)FDISK也是比较好的一个,这个一般用在DOS下分区格式化WIN...

photoshop是一款什么软件(ps指的是什么软件)

这个说法是错误的,ps软件“即:photoshop”是由美国著名的“adobe阿多比”公司出品的专业的图像处理软件,它不是由微软公司出品的软件。众所周知的是,微软公司以设计视窗操作系统名满全球,它出...

ipad越狱的好处与坏处(ipad越狱好不好)

  好处一:  1、重命名、重组应用程序  如果你看着Sparrow(iOS最优秀邮件客户端)这个名字不爽,越狱之后就可以改成“Email”,如果你觉得“豆瓣电台”这个名字不给力,那就改成“中央人民广...

win7光盘重装系统步骤图解(win7光盘如何重装系统)

1.确认您的电脑支持从光盘启动。如果支持,可以直接将Windows7安装光盘插入电脑的光驱中。 2.打开电脑,按下F2、F10、F12或Delete等键进入BIOS设置界面。 ...

电脑已联网却无法上网(电脑已经联网了但是不能上网)

电脑连上网后,仍可能存在无法上网的情况,这可能是由多种原因造成的。以下是一些可能的原因和解决方法:1.浏览器问题:有时候,浏览器可能会出现故障,导致无法正常访问网络。您可以尝试清除浏览器的缓存和co...

取消回复欢迎 发表评论: