百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

三个方法,用Python爬虫下载了《凡人修仙传》全本,你学会了吗?

off999 2024-11-07 11:41 49 浏览 0 评论

我用手机写了一个Python爬虫,爬下了《凡人修仙传》……

上一次,舞剑用手机写了一个 Python 爬虫,爬取了《凡人修仙传》小说第一章的标题与正文,最后保存到 TXT 文本中。

这一次,舞剑继续完善这个 Python 爬虫小程序,将第一章之后的章节也都爬下来并保存。

要爬取之后的章节,最重要的就是找到章节的 Url ,这样才能根据 Url 进入下一章的网页,进而爬取标题与正文。

方法一||1

进入《凡人修仙传》目录,打开开发者工具查看,可以看到所有章节的 url 都包含在 class="pagelist" 的 div 标签中。

而具体每一个章节的 url 则包含在 class="read" 的 url 标签中。

① /book/61781/0-1/ 到 /book/61781/0-26/ 地址之间包含了所有章节 url 集合,只需要循环 26 次进入每一个 url 就行了。

使用 lxml 代码如下所示:

②进入单独的 url 后,会看到 class="read" 的 url 列表。这里可以创建一个列表 list,用来保存所有的章节 url, 以便后期使用。

使用 lxml 爬取代码如下所示:

之后就可以根据 url 列表来爬取相应的章节,直至下载全本小说。

方法二||2

第一章:m.9txs.com/book/61781/868469.html

第二章:m.9txs.com/book/61781/868470.html

从上方的网址可以分析出:

book代表小说,61781代表凡人修仙传,而最后的 868469.html 则代表着第一章,很显然 868470.html 代表第二章。

只需要不断将 868469+1 ,最终就会爬出《凡人修仙传》全本 TXT 。

方法三||3

在阅读小说的过程中,底部都会有 下一章 按钮。

切换到源码,则是下一章的 url。

<div class="pager">

<a href="/book/61781/868469.html">上一章</a>

<a href="/book/61781/">目 录</a>

<a href="/book/61781/868471.html">下一章</a>

</div>

只需要在解析方法时,顺便将下一章的 href 地址取出,然后拼接到网址之上,一直向前爬取,最后就会爬出《凡人修仙传》全本。

至于它的 lxml 解析方法,只有这么一段,很简单。

好了,《凡人修仙传》全本 TXT 下载思路就在这里,至于其他的小说同理,只需要更换 url 就行了。

有兴趣的小伙伴记得关注我,一直更新手机编程的技巧与APP。

相关推荐

office2010怎么免费永久激活密钥

用这个试试,一个KMS激活工具可以激活2010到2019的Office自家的目前用的就是这个microsoft6477.moe/1716.html直接使用这个Microsoftoffice2010...

类似爱加速的国内ip(类似爱加速的app)
类似爱加速的国内ip(类似爱加速的app)

推荐“V8盒子”。这一款免费无广告的模拟器,不同于其它软件盒子,而是类似于X8沙箱,满足游戏多开,画中画,悬浮球操作,熄屏后台运行等多功能的沙箱盒子.支持一键root,一键安装xposed框架,能在安卓/苹果手机上运行多个安卓/ios虚拟系...

2025-11-19 02:03 off999

阿里旺旺手机客户端(阿里旺旺手机app)

手机淘宝的旺旺在打开商品后,会看到左下角有个旺旺的图标,点击就可以联系了。  阿里旺旺是将原先的淘宝旺旺与阿里巴巴贸易通整合在一起的一个新品牌。它是淘宝和阿里巴巴为商人量身定做的免费网上商务沟通软件,...

最纯净的pe装机工具(pe工具哪个纯净)

U盘装系统步骤:1.制作U盘启动盘。这里推荐大白菜U盘启动盘制作工具,在网上一搜便是。2.U盘启动盘做好了,我们还需要一个GHOST文件,可以从网上下载一个ghost版的XP/WIN7/WIN8系统,...

装一个erp系统多少钱(wms仓库管理软件)

现在主流有客户端ERP和云端ERP两种客户端通常一次买断,价格在万元左右,但是还有隐性费用,你需要支付服务器、数据管理员,此外如果系统需要更新维护,你还需要支付另外一笔不菲的费用。云端ERP:优势...

cad2014序列号和密钥永久(autocad2014序列号和密钥)

1在cad2014中修改标注样式后,需要将其保存2单击“样式管理器”按钮,在弹出的窗口中选择修改后的标注样式,然后单击“设置为当前”按钮,再单击“保存当前样式”按钮,将其保存为新的样式名称3为了...

qq修改密保手机号(qq修改密保手机号是什么意思)

QQ更改绑定的手机号码操作步骤如下:1、打开手机主界面,找到“QQ”软件点击打开。2、输入正确的QQ账户和密码登录到qq主界面。3、点击左上角的头像“图片”,进入到个人中心界面。4、进入到个人中心界面...

dell笔记本客服电话(dell笔记本客服电话人工服务)

戴尔中国的官方网站http://www.dell.com/zh-cn。通过这个网站购买的都没有问题;有问题也可以进入官网联系售后客服,也可以拔打dell电脑说明书上的售后热线,都可以为你解决的。还是建...

联想乐商店app官方下载(联想乐商店在哪下载)

您好!很遗憾!若是您的手机联想乐商店和联想游戏中心只能有流量,建议您核实是否乐安全有限制wifi上网,核实您所使用的wifi是否本身有限制。若还是无效,可清除缓存数据;备份资料恢复出厂设置尝试。欢迎您...

fat32u盘(FAT32u盘多少钱一个)
  • fat32u盘(FAT32u盘多少钱一个)
  • fat32u盘(FAT32u盘多少钱一个)
  • fat32u盘(FAT32u盘多少钱一个)
  • fat32u盘(FAT32u盘多少钱一个)
不用拉网线的路由器是真的吗

是真的不插卡不拉线有线就有网,这11个字其实就涵盖了无线路由器的特点,无线路由器免插卡、不用拉网线,完全摆脱了之前家用路由器和网线捆绑的模式,有电就有网,其实说的就是无线路由器的使用操作简单,通电就可...

微信恢复好友怎么弄回来(vx好友恢复)
  • 微信恢复好友怎么弄回来(vx好友恢复)
  • 微信恢复好友怎么弄回来(vx好友恢复)
  • 微信恢复好友怎么弄回来(vx好友恢复)
  • 微信恢复好友怎么弄回来(vx好友恢复)
u盘检测软件下载(u盘测试软件)

1、u盘芯片检测工具(ChipEasy)可以查看USB设备PID、VID、SN、制造商、产品名等;2、查看USB设备主控芯片信息、闪存芯片信息、固件信息、电流控制3、SSD型号...

电脑现在什么系统最好(电脑现在用什么系统好)

WINXP好用,但过时了。VISTA不好用,没推开就夭折了。WIN8/8.1是针对触模屏设计的,如果你用的不是触摸屏平板电脑是普通电脑,使WIN8/8.1总觉着很蹩扭。新出的WIN10,功能...

账号怎么注册(steam账号怎么注册)

如果注册是qq账号【qq号码的申请办法】【1】双击qq登陆界面,在qq帐号填写空格的后面你可以看见:[申请帐号];【2】点击[申请帐号]进入,就可以在网上免费申请号码了;【3】进入www.qq.com...

取消回复欢迎 发表评论: