六一礼物怎么选?来用python采集几套试卷送给小朋友们吧
off999 2024-09-16 00:41 20 浏览 0 评论
大家好啊,我是枫哥~ 马上要六一了,想一想我小时候的儿童节老师大概率都会布置一些试卷,所以也算是渡过了一个很"快乐"的童年呢。
所以今天这篇文章来采集一下试卷网中的试卷,快来学习一下,然后采集几套试卷送给你身边还在上学的小朋友们吧,想必收到这个儿童节礼物他们应该会很高兴~
目标网站的页面大概是长这样的,结构还是很清晰的,不同科目,年级都很规律,可以说是比较容易采集的了。
我们以一年级的语文试卷为例来演示,首先点击"语文试卷",选择"一年级"。会新打开一个标签页,可以看到试卷还是很丰富的,为了小朋友的身心健康,我们就先采集前 5 页的试卷吧。
打开开发者工具,查看页面的 dom 结构
核心就是这个表格 tbody 里的内容了,关键信息基本都有了,试卷名称,文件类型,版本,大小,上传日期。那么问题来了,怎么下载呢? 我们继续点击某一个试卷,查看这个试卷的详情页面,可以看到页面底下有一个"本地下载按钮"。
利用开发者工具找到这个按钮的 dom 元素,如下,就能获取到这个试卷的下载地址了。点击测试一下,确实是能下载的。
这次就不用 js 来写脚本了,换 python 写吧,主打一个随心所欲。 大概原理,利用 request 库来请求内容,bs4 库来解析 html 提取试卷信息,下载链接等,开干~ 编写获取指定页面的所有试卷数据函数
测试执行执行一下,没什么问题
然后遍历获取到的试卷,得到下载地址
执行一下,成功拿到了试卷的下载地址。
编写下载试卷的函数,传入 url 和 folder,folder 暂时写死为 yuwen
执行后,就可以在当前目录下的 yuwen 文件夹中看到下载好的试卷文件了
试卷文件是压缩包,如果要手动解压的话,肯定是不行的。所以我们可以使用 rarfile 这个库来对文件进行解压。添加解压代码,解压后记得要删除原有的压缩包,代码如下
再来执行一次,完成后就能看到解压后的试卷了
最后,增加一个遍历条件,采集前 5 页的试卷
好了,到这里我们基本的功能就都实现好了。 如果你想指定下载的科目和年级,也可以支持,我们继续对代码进行一下改造,支持在执行的时候传入两个参数,分别是科目和年级。
比如下面的这个命令,就表示采集语文科目,1年级的试卷。如果要采集其他科目,也可以传入对应的参数即可
关键代码大致如下,解析脚本传入的参数
获取试卷列表页面的 list 地址
然后我们来尝试下载一年级的数学试卷
执行后的结果如下
总结
- 学习到了 python requests、bs4、rarfile 等库的使用;
- 了解了 pyton 编写爬虫脚本的思路;
原文链接:https://juejin.cn/post/7374968339905724426
相关推荐
- python入门到脱坑经典案例比较大小的6种经典方法
-
在Python中比较两个数的大小是最基础的编程操作之一,以下是6种经典方法及其应用场景,从基础到进阶的完整指南:1.基础比较运算符直接使用>、<、==等运算符:a,b=...
- Python学习 -- 高阶、闭包、回调、偏函数与装饰器探究
-
Python函数作为编程的核心,涵盖了众多令人兴奋的概念,如高阶函数、闭包、回调、偏函数和装饰器。本篇博客将深入研究这些概念,结合实际案例为你解析函数的精妙,以及如何巧妙地运用它们来构建更强大、灵活的...
- python编程中你遇到最恶心的事情是什么
-
在编程的广袤天地里,总有那么些让人抓狂、崩溃,甚至想“砸电脑”的恶心事儿。要说这其中最让人头疼的,莫过于代码中的“神秘Bug”1.可变默认参数的幽灵行为defappend_to(element,...
- python生成器14个常见问题及详解(python生成器定义)
-
以下是Python生成器(Generator)常见问题的详细解答,涵盖使用中的典型疑惑和解决方案:一、基础问题1.生成器只能遍历一次吗?答:是的,生成器是一次性对象,遍历完后需重新创建:defge...
- Python 中 必须掌握的 20 个核心函数及其含义,不允许你不会
-
以下是Python中必须掌握的20个核心函数及其含义,涵盖数据处理、文件操作、面向对象等关键领域,每个函数均附代码示例和应用场景:一、基础必备函数1.print()作用:输出内容到控制台示例...
- 自学Python你卡在了哪一步?被卡了几次?
-
自学Python的放弃点通常集中在以下几个阶段(按学习顺序排列),结合放弃原因和应对建议整理如下:---###**1.环境配置阶段(第1-3天)**-**放弃原因**:-安装Pytho...
- python 10个堪称完美的for循环实践
-
在Python中,for循环的高效使用能显著提升代码性能和可读性。以下是10个堪称完美的for循环实践,涵盖数据处理、算法优化和Pythonic编程风格:1.遍历列表同时获取索引(enumerate...
- python后端学什么(python后端岗位多吗)
-
在当今数字化的时代,Python后端开发成为了众多开发者追逐的热门领域。那么,想要在这个领域崭露头角,我们究竟应该学些什么呢?学习Python后端开发需要掌握全栈技术栈,涵盖从基础语法到分布式...
- Python 列表(List)详解(python中列表用法)
-
列表是Python中最基本、最常用的数据结构之一,它是一个有序的、可变的元素集合。一、列表的基本操作1.创建列表#空列表empty_list=[]empty_list=list()...
- Python 数据转换详解(python将数据转换为字符串)
-
数据转换是编程中非常重要的操作,Python提供了多种方式来实现不同类型之间的转换。下面我将详细讲解Python中的各种数据转换方法。一、基本数据类型转换1.数字类型之间的转换#整数转浮点数...
- python入门 到脱坑 基本数据类型—集合
-
以下是Python集合(Set)的入门详解,包含基础概念、常用操作和实用技巧,帮助初学者快速掌握这一重要数据类型:一、集合基础1.定义集合#空集合(必须用set(),不能用{})empty_se...
- 百看不如一练的247个Python实战案例(附高清PDF完整版教程)
-
百看不如一练,247个python实战案例拿去练手吧希望对大家有帮助!喜欢python和正在学习python的小伙伴可以练练手哦!...
- Python 中 最容易被忽略却极具价值的 8 个特性,80%都不知道
-
1.__slots__:禁止动态属性分配作用:节省内存+防止属性拼写错误示例:classUser:__slots__=['name','age']...
- python中数值比较大小的8种经典比较方法,不允许你还不知道
-
在Python中比较数值大小是基础但重要的操作。以下是8种经典比较方法及其应用场景,从基础到进阶的完整指南:1.基础比较运算符Python提供6种基础比较运算符:a,b=5,3...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python自定义函数 (53)
- python进度条 (67)
- python吧 (67)
- python的for循环 (56)
- python串口编程 (60)
- python读取文件夹下所有文件 (59)
- java调用python脚本 (56)
- python操作mysql数据库 (66)
- python字典增加键值对 (53)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python qt (52)
- python人脸识别 (54)
- python多态 (60)
- python命令行参数 (53)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- centos7安装python (53)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)