百度360必应搜狗淘宝本站头条
python类型转换python串口编程python计时python异常python进度条
当前位置：网站首页 > 技术资源 > 正文

python 大量乱序文件如何合并成有序的

off999 2024-12-17 15:43 40 浏览 0 评论

本文以爬取一部小说为例,因使用的是多线程爬取,所以每个小说章节都是一个txt文件,而这些文件都是乱序的,要阅读的话我们也不可能每阅读一章小说就去翻另一个txt文件,这时就需要合并了.

----------------------------------------

爬取时间2022/8/16

代码如下:



运行结果:


从结果中可以看到,程序从运行到结束,一共花了3秒钟,

三秒内做完了从网站获取url链接,再通过120个url下载了120个txt文件,合并成一个大的txt文件后,再删除之前的120个小txt文件.

----------------------------------------------

代码10-25行>>>

从主页面发起请求,结合bs4和正则获取了小说每个章节的url链接和名字,并将顺序正常的名字写入叫1000.txt的文件. 第22行用unicodedatach处理了文本中的非正常空格(类似 )

代码第28-39行>>>

以每个章节的url为函数参数,获取了小说内容,并写入txt文件,

用章节名 (例如: 第四十九回 琉璃世界白雪红梅　脂粉香娃割腥啖) 作为xxt文件的名字. 因为原本的章节名含有空格以及非正常空格,不利于后续排序处理,就采用正则提取了 "第"和"回"中间的文字作为txt文件名.

代码第69-71行>>>

创建了线程池下载txt文件

代码第41-55行>>>

打开名为1000.txt文件,提取里面的正常顺序的章节名,以此作为已下载的120个txt文件的合并顺序.

代码第57-61行>>>

将之前下载的120个小txt文件删除,保留合并后的大的txt文件,接下来就可以愉快地阅读小说了

注: 将ts文件合并成MP4文件也是通用的,但需要注意的是使用os模块单次合并ts文件数量在650个左右,不到700个.

至于用os模块单次合并txt文件的数量限制是多少,暂时未测试.

----------------------------------------------

最后:源码以及小说txt文件,封面原图链接阿里云盘分享

相关推荐

微信一键恢复（微信一键恢复已删好友怎么操作）
  • 微信一键恢复（微信一键恢复已删好友怎么操作）
  • 微信一键恢复（微信一键恢复已删好友怎么操作）
  • 微信一键恢复（微信一键恢复已删好友怎么操作）
  • 微信一键恢复（微信一键恢复已删好友怎么操作）
win7系统序列号怎么查（win7电脑的序列号怎么查）

你可以在cmd命令行窗口中输入以下相关命令，可以得到你要的信息查找主板厂商输入：wmicBaseBoardgetManufacturer查找主板型号输入：wmicBaseBoardgetP...

台式电脑怎么看配置好坏（台式机怎么看配置参数哪里看好坏）

如何分辨电脑配置好坏第一看CPU，CPU从上到下可分为i7,i5,i3等，数字越高越好。第二看显卡和内存，显卡内存现在至少4G或者8G起步，越高越好，第三看硬盘是否是固态，固态要比机械的运行速度快...

下载软件安装不了（为什么下载软件安装不了）

　　　　一：检查手机内存是否充足，如果内存太小，需要更换大容量的SD卡。　　二：检查手机是否设置允许安装除手机自带应用商店以外的应用。　　方法一：需要从手机自带应用商店下载。　　①点击手机桌面上的应用...

现在建议更新win11吗（应该升级win11吗）

鲁大师更新11靠谱的，他只是给你提供一个方便的升级渠道而已。升级以后能否正常使用，还要看你原来的系统是否是正版。如果原来的系统是正版，升级完成后，可以正常使用。如果原来的系统是盗版，也是可以升级的，只...

windows7旗舰版好用吗（win7旗舰版好用么）

win7旗舰版挺好使的不过现在可以选择更win10。Windows7旗舰版属于微软公司开发的Windows7操作系统系统系列中的功能最高级的版本，也被叫做终结版本，是为了取代WindowsXP...

2025年最好用的手机浏览器（2021最好的手机浏览器）

可以使用uc浏览器或者是QQ浏览器，最新版本都是带有Flash插件的，火狐浏览器手机版也是一开始拥有Flash插件。以下是详细介绍：　　1、uc浏览器是阿里旗下的浏览器，只需要下载最新版，然后进去就可...

电脑一键还原系统在哪里（电脑一键还原系统怎么用）
  • 电脑一键还原系统在哪里（电脑一键还原系统怎么用）
  • 电脑一键还原系统在哪里（电脑一键还原系统怎么用）
  • 电脑一键还原系统在哪里（电脑一键还原系统怎么用）
  • 电脑一键还原系统在哪里（电脑一键还原系统怎么用）
纯净版win11在哪下载（在哪下win10纯净版）

Win11纯净版中，有一些常用的应用软件，包括但不限于以下几款：MicrosoftEdge：微软推出的新一代浏览器，支持多种设备，具备更快的加载速度和丰富的扩展功能。MicrosoftOffice...

电脑软件最全的应用商店（电脑软件最全的应用商店下载）
  • 电脑软件最全的应用商店（电脑软件最全的应用商店下载）
  • 电脑软件最全的应用商店（电脑软件最全的应用商店下载）
  • 电脑软件最全的应用商店（电脑软件最全的应用商店下载）
  • 电脑软件最全的应用商店（电脑软件最全的应用商店下载）
win7自带激活工具在哪个位置

恩，其实这些就是激活系统的工具，朋友可以通过计算机属性看看你的系统是不是激活了。如果没有的话，建议你使用OEM7F7那个，使用方法是右键，以管理员身份运行，然后点击开始体验正版，等下，重新启动系统...

无法激活因为无法连接到组织

　解决方法：　首先我们右键点击“开始菜单”，选择“WindowsPowerShell(管理员)”。　在windowsPowershell窗口中逐一输入如下三行命令，并回车键执行命令。　slmgr...

一个2tb的u盘多少钱（2tb优盘）

假的就算你买回来插到电脑上显示是2TB也没用，你复制东西到U盘里就会显示U盘已满不能复制，就算复制进去了也会有一部分不能使用。或者你买回来用360的U盘鉴定软件鉴定一下就知道真假了。还有就是你看看...

软件商店下载官方网站（软件商店正版软件下载）

软件商店安装的方法步骤如下:1.第一步，需要注册一个微软账户，然后点击桌面左下角的开始图标，然后在开始菜单中找到微软商店图标，点击进入。2.第二步，点击进入应用商店主页。3.第三步，在商店中搜索...

系统应用架构（系统应用架构有哪些）

一、目的不同：系统架构是对已确定的需求的技术实现构架、作好规划，运用成套、完整的工具，在规划的步骤下去完成任务。应用构架是描述了IT系统功能和技术实现内容的构架。二、实现方式不同：系统架构通过规划程序...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表
Copyright Your WebSite.Some Rights Reserved.