低不成高不就的现状?小伙用python爬去百万招聘,满意找到工作
off999 2024-10-19 07:17 28 浏览 0 评论
个人经历:低不成,高不就
依稀还记得15年刚出来工作那会,在第一个互联网公司实习,在公司听惯了身边人说公司这不好,那不好,作为新人的我深受影响,不知从何时开始就想快点结束实习期换一份更好的工作;
千盼万盼,终于迎来第二年的毕业,毕业后我也选择了大部分实习生的选择,没有再回到公司,在之后,懵懂的我终于迎来人生的第一次打击,在之后的两个月的时间,我开始在做比较,结果没有找到一家比上家更好的工作,由于当初的不辞而别,我也感觉没脸回到上家公司,终于到了身无分文的地步,而我也不得以选择一家“差”的公司,想着做几个月存点钱再去找一份更好的工作;
这样的恶性循环在我身上循环了一年,“低不成,高不就”的现象也许不只是出现在我身上,下面教你如果找到一份自己相对满意的工作!
正文:找一份自己满意的工作
拿一个招聘网站用来分析:
1、分析网站结构,确定我们要抓取的数据内容
通过 Chrome 浏览器右键检查查看 network 并对网站结构进行分析发现我们在 ajax 请求界面中,可以看到这些返回的数据正是网站页面中Python岗位招聘的详情信息。
之后我们在查看headers的时候发现该网站请求的方式是Post请求,也就是说在请求的过程中需要携带Form Data数据
在多次对网页界面进行分析评测的时候,发现在点击第二页的时候Form Data的携带格式发生了变化。可以看到 pn=2 肯定是咱们的当前的页数。
2、不管三七二十一 ,先请求拿到数据在说
在直接请求界面的时候我们发现网站有反爬机制,不让我们请求《"msg":"您操作太频繁,请稍后再访问"》,我们携带请求头伪装一下,不行
这里我用了一种可以快速生成headers以及cookie的工具:
我怀疑该网站具有多重反爬策略,当我在次添加cookies试一下的时候;我们发现数据可以正常获取了;难道就这么简单就解决拉勾网数据获取的问题了吗?然而机智的我察觉到事情并没有想像的那么简单;
我的最终解决方案是共用 session,就是说我们在每次请求界面的时候先获取session然后原地更新我们的session之后在进行数据的抓取,最后拿到想要的数据。
第二步:对数据进行分解
运行结果:
第三步:对解析数据进行存储
这里通过 excel 表格的形式进行存储;
需要 pip install xlwt 安装一下 xlwt 库.
最终显示数据内容
最后
如果需要源码,可以看下图
相关推荐
- 拼多多下载安装(拼多多下载安装免费2025版本)
-
一般有人问你有没有拼多多,都是想请你帮忙拼多多平台活动助力。 ...
- 联想电脑安装系统步骤(联想电脑安装系统教程)
-
联想电脑系统重装的方法如下1、制作好U盘启动盘,然后把下载的联想win7系统iso文件直接复制到U盘的GHO目录下:2、在联想电脑上插入U盘,重启后不停按F12或Fn+F12快捷键打开启动菜单,选择U...
- ppt自动生成网站(ppt 自动生成)
-
可以使用以下方法一键生成PPT:1.使用PPT模板:选用一个PPT模板,将图片插入到模板中相应的位置即可。2.使用图像转换器:将多张图片转换成PPT格式,然后将它们放在PPT中的相应位置。3.使用第...
- 最好用的搜索引擎磁力吧(2020年推荐一波好用的磁力搜索引擎)
-
搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息,在对信息进行组织和处理后,为用户提供检索服务,将用户检索相关的信息展示给用户的系统。搜索引擎的分类有:全文搜索引擎、目录索引类...
- 电脑装不了系统是什么原因(为什么我电脑装不了系统)
-
电脑不能安装新系统的原因可能有多种。可能是由于硬件不兼容,例如新系统需要更高的处理器或内存要求,而电脑的配置不足。另外,可能是由于硬盘空间不足或损坏,导致无法安装新系统。还有可能是由于操作系统安装文件...
- win7忘记开机密码u盘启动(windows7忘记开机密码用u盘)
-
win7电脑忘记开机密码,之后可以通过PE的方式来进行启动。首先需要找一块U盘,然后再网上下载一个PE系统。把这块U盘做成PE系统启动盘,然后把电脑设置成U盘启动,这样就直接可以进入到系统,进去之后就...
- 开不了机的手机怎么处理(开不了机的手机怎么处理掉)
-
方法/步骤手机突然开不了机,先长按开机键,因为有的时候,现在的知道手机,突然关机了,系统一下子在死机状态,等你长了后,手机就会有一下振动的声音,你再放开手,再重新按开机键,就能开机了。如果长按还是开不...
- cdlinux手机版(cdlinux最新版0.9.8)
-
Kali更好。1.首先,Kali是专门为渗透测试和网络安全而设计的操作系统,它拥有广泛的渗透测试工具和资源,使得用户在这个领域有更多的选择和更强大的功能。2.其次,Kali具有更长的发展历史和更大...
- 电脑cpu处理器排名天梯图(电脑cpu处理器天梯榜)
-
1.荣耀王者段位:A15处理器(5核GPU版)、A15处理器(4核GPU版)不论是从跑分上还是具体体验上,苹果最新的A15处理器都是佼佼者,CPU和GPU大幅领先于安卓现役旗舰SOC2.王者段位:骁龙...
- 电脑怎么重装系统不删除文件
-
一般应用程序的目录你删了只影响程序本身,比如你把某雷的download目录删掉,那只是曾经下载在这个目录下的文件被删了,对电脑应用毫无影响,如果你删除程序的安装目录,那程序就跪了…如果你删除操作系统的...
- 电脑用久了反应慢怎么处理(电脑用久了反应迟钝)
-
方法一:检查电脑配置首先,我们要检查一下自己的电脑配置是否符合安装Windows10系统的要求。如果你的电脑配置本身比较低,比如CPU、内存、硬盘等都不够强劲,那么安装Windows10系统可能会导致...
- 怎么加入已有的局域网(怎么加入已有的局域网连接)
-
你要先知道你公司局域网自己建立的名字,可以从其他的机子上看,比如mshome,workgroup,或者别的什么的。然后,你们有集线器或者路由器吧,插好网线,一边接集线器,一边接电脑网卡。把网卡驱动。...
- 如何在微软官网下载win10系统
-
从微软官网下载win10具体有以下7步:1、输入微软的官网,进入。2、登录自己的账号。3、一直往下拉,可以看到“获取win10”。4、选择要下载的版本。5、选择下载到你自己制定的文件夹,点击...
- 路由器地址怎么改(路由器地址怎么改成别的城市)
-
1、将本机电脑IP地址设置为自动获取。2、打开IE浏览器,在地址栏中输入192.168.1.1或192.168.0.1,在弹出的用户名和密码框中输入默认值,即admin/admin,如果修改过路由器使...
欢迎 你 发表评论:
- 一周热门
-
-
抖音上好看的小姐姐,Python给你都下载了
-
全网最简单易懂!495页Python漫画教程,高清PDF版免费下载
-
Python 3.14 的 UUIDv6/v7/v8 上新,别再用 uuid4 () 啦!
-
飞牛NAS部署TVGate Docker项目,实现内网一键转发、代理、jx
-
python入门到脱坑 输入与输出—str()函数
-
宝塔面板如何添加免费waf防火墙?(宝塔面板开启https)
-
Python三目运算基础与进阶_python三目运算符判断三个变量
-
(新版)Python 分布式爬虫与 JS 逆向进阶实战吾爱分享
-
失业程序员复习python笔记——条件与循环
-
系统u盘安装(win11系统u盘安装)
-
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (77)
- python封装 (57)
- python写入txt (66)
- python读取文件夹下所有文件 (59)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)
