python 大量乱序文件如何合并成有序的
off999 2024-12-17 15:43 40 浏览 0 评论
本文以爬取一部小说为例,因使用的是多线程爬取,所以每个小说章节都是一个txt文件,而这些文件都是乱序的,要阅读的话我们也不可能每阅读一章小说就去翻另一个txt文件,这时就需要合并了.
----------------------------------------
爬取时间2022/8/16
代码如下:
运行结果:
从结果中可以看到,程序从运行到结束,一共花了3秒钟,
三秒内做完了从网站获取url链接,再通过120个url下载了120个txt文件,合并成一个大的txt文件后,再删除之前的120个小txt文件.
----------------------------------------------
代码10-25行>>>
从主页面发起请求,结合bs4和正则获取了小说每个章节的url链接和名字,并将顺序正常的名字写入叫1000.txt的文件. 第22行用unicodedatach处理了文本中的非正常空格(类似 )
代码第28-39行>>>
以每个章节的url为函数参数,获取了小说内容,并写入txt文件,
用章节名 (例如: 第四十九回 琉璃世界白雪红梅 脂粉香娃割腥啖) 作为xxt文件的名字. 因为原本的章节名含有空格以及非正常空格,不利于后续排序处理,就采用正则提取了 "第"和"回"中间的文字作为txt文件名.
代码第69-71行>>>
创建了线程池下载txt文件
代码第41-55行>>>
打开名为1000.txt文件,提取里面的正常顺序的章节名,以此作为已下载的120个txt文件的合并顺序.
代码第57-61行>>>
将之前下载的120个小txt文件删除,保留合并后的大的txt文件,接下来就可以愉快地阅读小说了
注: 将ts文件合并成MP4文件也是通用的,但需要注意的是使用os模块单次合并ts文件数量在650个左右,不到700个.
至于用os模块单次合并txt文件的数量限制是多少,暂时未测试.
----------------------------------------------
最后:源码以及小说txt文件,封面原图链接阿里云盘分享
相关推荐
- win7系统序列号怎么查(win7电脑的序列号怎么查)
-
你可以在cmd命令行窗口中输入以下相关命令,可以得到你要的信息查找主板厂商输入:wmicBaseBoardgetManufacturer查找主板型号输入:wmicBaseBoardgetP...
- 台式电脑怎么看配置好坏(台式机怎么看配置参数哪里看好坏)
-
如何分辨电脑配置好坏第一看CPU,CPU从上到下可分为i7,i5,i3等,数字越高越好。第二看显卡和内存,显卡内存现在至少4G或者8G起步,越高越好,第三看硬盘是否是固态,固态要比机械的运行速度快...
- 下载软件安装不了(为什么下载软件安装不了)
-
一:检查手机内存是否充足,如果内存太小,需要更换大容量的SD卡。 二:检查手机是否设置允许安装除手机自带应用商店以外的应用。 方法一:需要从手机自带应用商店下载。 ①点击手机桌面上的应用...
- 现在建议更新win11吗(应该升级win11吗)
-
鲁大师更新11靠谱的,他只是给你提供一个方便的升级渠道而已。升级以后能否正常使用,还要看你原来的系统是否是正版。如果原来的系统是正版,升级完成后,可以正常使用。如果原来的系统是盗版,也是可以升级的,只...
- windows7旗舰版好用吗(win7旗舰版好用么)
-
win7旗舰版挺好使的不过现在可以选择更win10。Windows7旗舰版属于微软公司开发的Windows7操作系统系统系列中的功能最高级的版本,也被叫做终结版本,是为了取代WindowsXP...
- 2025年最好用的手机浏览器(2021最好的手机浏览器)
-
可以使用uc浏览器或者是QQ浏览器,最新版本都是带有Flash插件的,火狐浏览器手机版也是一开始拥有Flash插件。以下是详细介绍: 1、uc浏览器是阿里旗下的浏览器,只需要下载最新版,然后进去就可...
- 纯净版win11在哪下载(在哪下win10纯净版)
-
Win11纯净版中,有一些常用的应用软件,包括但不限于以下几款:MicrosoftEdge:微软推出的新一代浏览器,支持多种设备,具备更快的加载速度和丰富的扩展功能。MicrosoftOffice...
- win7自带激活工具在哪个位置
-
恩,其实这些就是激活系统的工具,朋友可以通过计算机属性看看你的系统是不是激活了。如果没有的话,建议你使用OEM7F7那个,使用方法是右键,以管理员身份运行,然后点击开始体验正版,等下,重新启动系统...
- 无法激活因为无法连接到组织
-
解决方法: 首先我们右键点击“开始菜单”,选择“WindowsPowerShell(管理员)”。 在windowsPowershell窗口中逐一输入如下三行命令,并回车键执行命令。 slmgr...
- 一个2tb的u盘多少钱(2tb优盘)
-
假的就算你买回来插到电脑上显示是2TB也没用,你复制东西到U盘里就会显示U盘已满不能复制,就算复制进去了也会有一部分不能使用。或者你买回来用360的U盘鉴定软件鉴定一下就知道真假了。还有就是你看看...
- 软件商店下载官方网站(软件商店正版软件下载)
-
软件商店安装的方法步骤如下:1.第一步,需要注册一个微软账户,然后点击桌面左下角的开始图标,然后在开始菜单中找到微软商店图标,点击进入。2.第二步,点击进入应用商店主页。3.第三步,在商店中搜索...
- 系统应用架构(系统应用架构有哪些)
-
一、目的不同:系统架构是对已确定的需求的技术实现构架、作好规划,运用成套、完整的工具,在规划的步骤下去完成任务。应用构架是描述了IT系统功能和技术实现内容的构架。二、实现方式不同:系统架构通过规划程序...
欢迎 你 发表评论:
- 一周热门
-
-
抖音上好看的小姐姐,Python给你都下载了
-
全网最简单易懂!495页Python漫画教程,高清PDF版免费下载
-
飞牛NAS部署TVGate Docker项目,实现内网一键转发、代理、jx
-
Python 3.14 的 UUIDv6/v7/v8 上新,别再用 uuid4 () 啦!
-
python入门到脱坑 输入与输出—str()函数
-
宝塔面板如何添加免费waf防火墙?(宝塔面板开启https)
-
Python三目运算基础与进阶_python三目运算符判断三个变量
-
(新版)Python 分布式爬虫与 JS 逆向进阶实战吾爱分享
-
失业程序员复习python笔记——条件与循环
-
系统u盘安装(win11系统u盘安装)
-
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (77)
- python封装 (57)
- python写入txt (66)
- python读取文件夹下所有文件 (59)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)
