Python爬虫抓取智联招聘(基础版)(智联 爬虫)
off999 2024-10-19 07:17 27 浏览 0 评论
前言
文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。
作者: C与Python实战
PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取
http://note.youdao.com/noteshare?id=3054cce4add8a909e784ad934f956cef
对于每个上班族来说,总要经历几次换工作,如何在网上挑到心仪的工作?如何提前为心仪工作的面试做准备?今天我们来抓取智联招聘的招聘信息,助你换工作成功!
- 运行平台: Windows
- Python版本: Python3.6
- IDE: Sublime Text
- 其他工具: Chrome浏览器
1、网页分析
1.1 分析请求地址
以北京海淀区的python工程师为例进行网页分析。打开智联招聘首页,选择北京地区,在搜索框输入"python工程师",点击"搜工作":
接下来跳转到搜索结果页面,按"F12"打开开发者工具,然后在"热门地区"栏选择"海淀",我们看一下地址栏:
我们要自己构造地址了。接下来要对开发者工具进行分析,按照如图所示步骤找到我们需要的数据:Request Headers和Query String Parameters :
构造请求地址:
请求头:
1.2 分析有用数据
接下来我们要分析有用数据,从搜索结果中我们需要的数据有:职位名称、公司名称、公司详情页地址、职位月薪:
通过网页元素定位找到这几项在HTML文件中的位置,如下图所示:
用正则表达式对这四项内容进行提取:
注意:解析出来的部分职位名称带有标签,如下图所示:
那么在解析之后要对该数据进行处理剔除标签,用如下代码实现:
2、写入文件
我们获取到的数据每个职位的信息项都相同,可以写到数据库中,但是本文选择了csv文件,以下为百度百科解释:
逗号分隔值(Comma-Separated Values,CSV,有时也称为字符分隔值,因为分隔字符也可以不是逗号),其文件以纯文本形式存储表格数据(数字和文本)。纯文本意味着该文件是一个字符序列,不含必须像二进制数字那样被解读的数据
由于python内置了csv文件操作的库函数,所以很方便:
3、进度显示
要想找到理想工作,一定要对更多的职位进行筛选,那么我们抓取的数据量一定很大,几十页、几百页甚至几千页,那么我们要掌握抓取进度心里才能更加踏实啊,所以要加入进度条显示功能。
本文选择tqdm 进行进度显示,来看一下酷炫结果(图片来源网络):
执行以下命令进行安装:
简单示例:
4、完整代码
以上是所有功能的分析,如下为完整代码:
上面代码执行效果如图所示:
执行完成后会在py同级文件夹下会生成名为:zl北京python工程师.csv的文件,打开之后效果如下:
.
相关推荐
- 拼多多下载安装(拼多多下载安装免费2025版本)
-
一般有人问你有没有拼多多,都是想请你帮忙拼多多平台活动助力。 ...
- 联想电脑安装系统步骤(联想电脑安装系统教程)
-
联想电脑系统重装的方法如下1、制作好U盘启动盘,然后把下载的联想win7系统iso文件直接复制到U盘的GHO目录下:2、在联想电脑上插入U盘,重启后不停按F12或Fn+F12快捷键打开启动菜单,选择U...
- ppt自动生成网站(ppt 自动生成)
-
可以使用以下方法一键生成PPT:1.使用PPT模板:选用一个PPT模板,将图片插入到模板中相应的位置即可。2.使用图像转换器:将多张图片转换成PPT格式,然后将它们放在PPT中的相应位置。3.使用第...
- 最好用的搜索引擎磁力吧(2020年推荐一波好用的磁力搜索引擎)
-
搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息,在对信息进行组织和处理后,为用户提供检索服务,将用户检索相关的信息展示给用户的系统。搜索引擎的分类有:全文搜索引擎、目录索引类...
- 电脑装不了系统是什么原因(为什么我电脑装不了系统)
-
电脑不能安装新系统的原因可能有多种。可能是由于硬件不兼容,例如新系统需要更高的处理器或内存要求,而电脑的配置不足。另外,可能是由于硬盘空间不足或损坏,导致无法安装新系统。还有可能是由于操作系统安装文件...
- win7忘记开机密码u盘启动(windows7忘记开机密码用u盘)
-
win7电脑忘记开机密码,之后可以通过PE的方式来进行启动。首先需要找一块U盘,然后再网上下载一个PE系统。把这块U盘做成PE系统启动盘,然后把电脑设置成U盘启动,这样就直接可以进入到系统,进去之后就...
- 开不了机的手机怎么处理(开不了机的手机怎么处理掉)
-
方法/步骤手机突然开不了机,先长按开机键,因为有的时候,现在的知道手机,突然关机了,系统一下子在死机状态,等你长了后,手机就会有一下振动的声音,你再放开手,再重新按开机键,就能开机了。如果长按还是开不...
- cdlinux手机版(cdlinux最新版0.9.8)
-
Kali更好。1.首先,Kali是专门为渗透测试和网络安全而设计的操作系统,它拥有广泛的渗透测试工具和资源,使得用户在这个领域有更多的选择和更强大的功能。2.其次,Kali具有更长的发展历史和更大...
- 电脑cpu处理器排名天梯图(电脑cpu处理器天梯榜)
-
1.荣耀王者段位:A15处理器(5核GPU版)、A15处理器(4核GPU版)不论是从跑分上还是具体体验上,苹果最新的A15处理器都是佼佼者,CPU和GPU大幅领先于安卓现役旗舰SOC2.王者段位:骁龙...
- 电脑怎么重装系统不删除文件
-
一般应用程序的目录你删了只影响程序本身,比如你把某雷的download目录删掉,那只是曾经下载在这个目录下的文件被删了,对电脑应用毫无影响,如果你删除程序的安装目录,那程序就跪了…如果你删除操作系统的...
- 电脑用久了反应慢怎么处理(电脑用久了反应迟钝)
-
方法一:检查电脑配置首先,我们要检查一下自己的电脑配置是否符合安装Windows10系统的要求。如果你的电脑配置本身比较低,比如CPU、内存、硬盘等都不够强劲,那么安装Windows10系统可能会导致...
- 怎么加入已有的局域网(怎么加入已有的局域网连接)
-
你要先知道你公司局域网自己建立的名字,可以从其他的机子上看,比如mshome,workgroup,或者别的什么的。然后,你们有集线器或者路由器吧,插好网线,一边接集线器,一边接电脑网卡。把网卡驱动。...
- 如何在微软官网下载win10系统
-
从微软官网下载win10具体有以下7步:1、输入微软的官网,进入。2、登录自己的账号。3、一直往下拉,可以看到“获取win10”。4、选择要下载的版本。5、选择下载到你自己制定的文件夹,点击...
- 路由器地址怎么改(路由器地址怎么改成别的城市)
-
1、将本机电脑IP地址设置为自动获取。2、打开IE浏览器,在地址栏中输入192.168.1.1或192.168.0.1,在弹出的用户名和密码框中输入默认值,即admin/admin,如果修改过路由器使...
欢迎 你 发表评论:
- 一周热门
-
-
抖音上好看的小姐姐,Python给你都下载了
-
全网最简单易懂!495页Python漫画教程,高清PDF版免费下载
-
Python 3.14 的 UUIDv6/v7/v8 上新,别再用 uuid4 () 啦!
-
飞牛NAS部署TVGate Docker项目,实现内网一键转发、代理、jx
-
python入门到脱坑 输入与输出—str()函数
-
宝塔面板如何添加免费waf防火墙?(宝塔面板开启https)
-
Python三目运算基础与进阶_python三目运算符判断三个变量
-
(新版)Python 分布式爬虫与 JS 逆向进阶实战吾爱分享
-
失业程序员复习python笔记——条件与循环
-
系统u盘安装(win11系统u盘安装)
-
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (77)
- python封装 (57)
- python写入txt (66)
- python读取文件夹下所有文件 (59)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)
