Python爬虫抓取智联招聘(基础版)（智联 爬虫）
off999 2024-10-19 07:17 12 浏览 0 评论
前言
文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。
作者： C与Python实战
PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取
http://note.youdao.com/noteshare?id=3054cce4add8a909e784ad934f956cef
对于每个上班族来说，总要经历几次换工作，如何在网上挑到心仪的工作？如何提前为心仪工作的面试做准备？今天我们来抓取智联招聘的招聘信息，助你换工作成功！
- 运行平台： Windows
- Python版本： Python3.6
- IDE： Sublime Text
- 其他工具： Chrome浏览器
1、网页分析
1.1 分析请求地址
以北京海淀区的python工程师为例进行网页分析。打开智联招聘首页，选择北京地区，在搜索框输入"python工程师"，点击"搜工作"：
接下来跳转到搜索结果页面，按"F12"打开开发者工具，然后在"热门地区"栏选择"海淀"，我们看一下地址栏：
我们要自己构造地址了。接下来要对开发者工具进行分析，按照如图所示步骤找到我们需要的数据：Request Headers和Query String Parameters ：
构造请求地址：
请求头：
1.2 分析有用数据
接下来我们要分析有用数据，从搜索结果中我们需要的数据有：职位名称、公司名称、公司详情页地址、职位月薪：
通过网页元素定位找到这几项在HTML文件中的位置，如下图所示：
用正则表达式对这四项内容进行提取：
注意：解析出来的部分职位名称带有标签，如下图所示：
那么在解析之后要对该数据进行处理剔除标签，用如下代码实现：
2、写入文件
我们获取到的数据每个职位的信息项都相同，可以写到数据库中，但是本文选择了csv文件，以下为百度百科解释：
逗号分隔值（Comma-Separated Values，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号），其文件以纯文本形式存储表格数据（数字和文本）。纯文本意味着该文件是一个字符序列，不含必须像二进制数字那样被解读的数据
由于python内置了csv文件操作的库函数，所以很方便：
3、进度显示
要想找到理想工作，一定要对更多的职位进行筛选，那么我们抓取的数据量一定很大，几十页、几百页甚至几千页，那么我们要掌握抓取进度心里才能更加踏实啊，所以要加入进度条显示功能。
本文选择tqdm 进行进度显示，来看一下酷炫结果（图片来源网络）：
执行以下命令进行安装：
简单示例：
4、完整代码
以上是所有功能的分析，如下为完整代码：
上面代码执行效果如图所示：
执行完成后会在py同级文件夹下会生成名为：zl北京python工程师.csv的文件，打开之后效果如下：
.
相关推荐
- 每天一个 Python 库:datetime 模块全攻略，时间操作太丝滑!
-
在日常开发中，时间处理是绕不开的一块，比如：生成时间戳比较两个时间差转换为可读格式接口传参/前端展示/日志记录今天我们就用一个案例+代码+思维导图，带你完全搞定datetime模块的用法！...
- 字节跳动!2023全套Python入门笔记合集
-
学完python出来，已经工作3年啦，最近有很多小伙伴问我，学习python有什么用其实能做的有很多可以提高工作效率增强逻辑思维还能做爬虫网站数据分析等等！！最近也是整理了很多适合零基...
- 为什么你觉得Matplotlib用起来困难?因为你还没看过这个思维导图
-
前言Matplotlib是一个流行的Python库，可以很容易地用于创建数据可视化。然而，设置数据、参数、图形和绘图在每次执行新项目时都可能变得非常混乱和繁琐。而且由于应用不同，我们不知道选择哪一个图...
- Python新手必看!30分钟搞懂break/continue(附5个实战案例)
-
一、跳转语句的使命当程序需要提前结束循环或跳过特定迭代时，break和continue就是你的代码急刹按钮和跳步指令。就像在迷宫探险中：break=发现出口立即离开continue=跳过陷阱继续前进二...
- 刘心向学(24)Python中的数据类（python中5种简单的数据类型）
-
分享兴趣，传播快乐，增长见闻，留下美好！亲爱的您，这里是LearningYard新学苑。今天小编为大家带来文章“刘心向学（24)Python中的数据类”欢迎您的访问。Shareinterest,...
- 刘心向学(25)Python中的虚拟环境（python虚拟环境安装和配置）
-
分享兴趣，传播快乐，增长见闻，留下美好！亲爱的您，这里是LearningYard新学苑。今天小编为大家带来文章“刘心向学（25）Python中的虚拟环境”欢迎您的访问。Shareinte...
- 栋察宇宙(八):Python 中的 wordcloud 库学习介绍
-
分享乐趣，传播快乐，增长见识，留下美好。亲爱的您，这里是LearingYard学苑！今天小编为大家带来“Python中的wordcloud库学习介绍”欢迎您的访问！Sharethefun,...
- AI在用|ChatGPT、Claude 3助攻，1分钟GET高颜值思维导图
-
机器之能报道编辑：Cardinal以大模型、AIGC为代表的人工智能浪潮已经在悄然改变着我们生活及工作方式，但绝大部分人依然不知道该如何使用。因此，我们推出了「AI在用」专栏，通过直观、有趣且简洁的人...
- 使用DeepSeek + Python开发AI思维导图应用，非常强!
-
最近基于Deepseek+PythonWeb技术开发了一个AI对话自动生成思维导图的应用，用来展示下如何基于低门槛的Python相关技术栈，高效结合deepseek实现从应用场景到实际应用的快速落地...
- 10幅思维导图告诉你 - Python 核心知识体系
-
首先，按顺序依次展示了以下内容的一系列思维导图：基础知识，数据类型（数字，字符串，列表，元组，字典，集合），条件&循环，文件对象，错误&异常，函数，模块，面向对象编程；接着，结合这些思维导图主要参考的...
- Python基础核心思维导图，让你轻松入门
-
Python基础核心思维导图【高清图文末获取】学习路线图就给大家看到这里了，需要的小伙伴下方获取获取方式看下方图片...
- Python基础核心思维导图，学会事半功倍
-
Python基础核心思维导图【高清图文末获取】学习路线图就给大家看到这里了，需要的小伙伴下方获取获取方式看下方图片...
- 硬核!288页Python核心知识笔记(附思维导图，建议收藏)
-
今天就给大家分享一份288页Python核心知识笔记，相较于部分朋友乱糟糟的笔记，这份笔记更够系统地总结相关知识，巩固Python知识体系。文末获取完整版PDF该笔记学习思维导图：目录内容展示【领取方...
- Python学习知识思维导图(高效学习)
-
Python学习知识思维导图python基础知识python数据类型条件循环列表元组字典集合字符串序列函数面向对象编程模块错误异常文件对象#python##python自学##编程#...
- 别找了!288页Python核心知识笔记(附思维导图，建议收藏)
-
今天就给大家分享一份288页Python核心知识笔记，相较于部分朋友乱糟糟的笔记，这份笔记更够系统地总结相关知识，巩固Python知识体系。文末获取完整版PDF该笔记学习思维导图：目录内容展示【领取方...
欢迎 你 发表评论:
- 一周热门
- 最近发表
-
- 每天一个 Python 库:datetime 模块全攻略，时间操作太丝滑!
- 字节跳动!2023全套Python入门笔记合集
- 为什么你觉得Matplotlib用起来困难?因为你还没看过这个思维导图
- Python新手必看!30分钟搞懂break/continue(附5个实战案例)
- 刘心向学(24)Python中的数据类（python中5种简单的数据类型）
- 刘心向学(25)Python中的虚拟环境（python虚拟环境安装和配置）
- 栋察宇宙(八):Python 中的 wordcloud 库学习介绍
- AI在用|ChatGPT、Claude 3助攻，1分钟GET高颜值思维导图
- 使用DeepSeek + Python开发AI思维导图应用，非常强!
- 10幅思维导图告诉你 - Python 核心知识体系
- 标签列表
-
- python计时 (54)
- python安装路径 (54)
- python类型转换 (75)
- python进度条 (54)
- python的for循环 (56)
- python串口编程 (60)
- python写入txt (51)
- python读取文件夹下所有文件 (59)
- java调用python脚本 (56)
- python操作mysql数据库 (66)
- python字典增加键值对 (53)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python qt (52)
- python人脸识别 (54)
- python斐波那契数列 (51)
- python多态 (60)
- python命令行参数 (53)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- centos7安装python (53)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)