Python爬取动态网页之selenium扫盲篇
off999 2024-10-19 07:11 34 浏览 0 评论
Selenium是什么
Selenium是在2004年由一个叫Jason Huggins的聪明的年轻人开发的,当时身处ThoughtWorks的他,为了不想让自己的时间浪费在无聊的重复性工作中,所以开发一个JS的类库来驱动浏览器页面的行为;这个js类库就是selenium core,同时也是seleniumRC、Selenium IDE的核心组件。这就是Selenium1.0的产生史。
在2006年,在google的一位有胆识的年轻人Simon Stewart发起了一个叫WebDriver的项目;因为长期以来google一直是selenium的重度用户,但却总是被限制在有限的操控范围内,所以Simon希望能通过浏览器、操作系统的底层方法等一些手段来直接操作浏览器;这样就避免了在JavaScript的沙箱环境里存在的那些限制了,webdriver项目就此诞生!
在2008年,Selenium和webdriver结合了,从此永结良缘,福泽我们广大的测试工作者。这期间谁追的谁都不重要了,重要的是他们合并的原因正如webdriver的作者所说:
部分原因是 selenium 补充了 webdriver 的不足
部分原因是 webdriver 补充了 selenium 的不足
部分原因是它们合体后能给用户提供一个更好的自动化测试框架
Selenium经历了两个版本,Selenium1.0 和Selenium2.0,Selenium 也不是简单一个工具,而是由几个工具组成,每个工具都有其特点和应用场景。通常都是用Selenium2
Selenium支持非常多的浏览器
我们这里主要用到的是PhantomJS
PhantomJS是一个而基于webkit的服务器端的JS API。
他全面支持各种原生的Web标准:DOM处理、CSS选择器、JSON、Canvas和SVG。最重要的是他是一个没有GUI的程序,
也就意味着他可以省去大量的加载图形界面的时间。而且利用selenium去调用上述浏览器,PhantomJS的速度最快
PhantomJS的安装:
Mac下安装PhantomJS:
brew install phantomjs
别的就麻烦大家自行搜索了
简单教程
我们写一个简单的例子,写一个脚本,通过百度替我们去搜索结果,并将网页以图片的形式保存下来
代码中注释写的很详细,如果有不懂的可以去看看http://selenium-python-zh.readthedocs.io/en/latest/
执行结果:
保存的图片:
这篇博客只是简单的介绍了一下selenium,让大家对他有个认识,下面的几篇文章将实际应用selenium到爬虫中
本文章是由热衷python和前端原创发布,如需转载请注明出处
欢迎大家关注头条号:热衷python和前端
如果有需要源码的同学就留言或者私聊我吧
相关推荐
- 电脑频繁断电关机(电脑经常断电是不是电源的问题)
-
电脑自动关机主要有以下几种原因造成:1.散热不好。由于天气温度的影响或CPU风扇的转数不够所引起的系统过热,从而会导致电脑的自动关机,建议可以检查一下系统温度是否正常。2.内存原因。当内存与主板插...
- 华为手机双密码双界面(华为手机双密码双界面忘记密码了怎么办)
-
华为手机锁屏怎么有两个锁屏?通常情况下是你多设置了一个锁屏,第一个就是你手势。锁屏二个是密码锁屏,通常这两个同时使用会出现有两个锁屏的现象。你可以在设置里面重新设置一个锁屏就可以了。华为手机锁屏有两个...
- 无线路由器密码在哪看(无线路由器密码在哪里看)
-
笔记本已连接wifi密码查看:1.同时按住按键上面的Win和R这2个按键,打开运行程序。2.在运行程序中输入“ncpa.cpl”,并点击“确定”。3.找到WLAN或者无线网络连接图标,...
- office2003的主要功能(word2003的主要功能)
-
是一套Office2003专业版的精简版,包含常用的Word、Excel、PowerPoint三个应用,使用者甚多。楼主如果有需要,请上电脑在本帖下载我的附件。
- 怎样准备一个带pe的u盘的(带pe系统的u盘)
-
一、U盘安装系统前期准备: 1、首先需要预备一个空的4G或以上U盘,用来存储启动程序跟系统文件。 2、接着我们需要安装的ghost系统。 3、U盘启动盘制作工具:U盘启动工具 二、U盘启动盘制...
- 怎样拷贝文件到u盘里(怎么文件拷贝到u盘)
-
方法/步骤分步阅读1点击安全打开等电脑的桌面中弹出U盘插入成功的提示框之后,点击安全打开,将U盘打开。2点击文件将U盘打开之后,在电脑的桌面中找到需要拷贝的文件,点击鼠标右键等弹出序列。3点击复制弹出...
-
- 固态硬盘怎么安装win7(固态硬盘怎么安装在电脑上)
-
1.首选需要找一个4GB以上的U盘2.用来存放Win7的ISO镜像文件。带有光盘标识的即为“光盘映像文件”3.在点击写入之前,一定要确保U盘里面没有任何数据,如果有数据应该及时备份,否则里面的数据将被删除,不过在做完启动盘后,仍然可以向里面...
-
2025-12-27 13:03 off999
- 苹果手机忘记密码怎么办(很久没用的苹果手机忘记密码怎么办)
-
在苹果官网中搜索忘记iphone密码,点击置于恢复模式的链接,根据步骤完成解锁即可,以下是详细的操作步骤:方法/步骤1点击搜索图标网页上搜索进入apple官网,进入官网主页面之后,点击页面上方的放大镜...
- win10系统防火墙在哪里设置(windows10的防火墙怎么设置)
-
Windows10的防火墙设置非常简单。首先,您可以点击“开始”菜单,然后在搜索框中输入“防火墙”来打开防火墙设置。接下来,您可以根据需要为不同的网络(包括公用网络、专用网络和域网络)设置不同的防火...
- 软件市场下载(软件市场下载安装)
-
是的,因为酷安已经被下架了,目前在所有手机自带的应用市场下载的酷安都是阉割版本。不仅是酷安,其它应用市场比如腾讯的应用宝目前在手机自带的应用商店全都已经下架了。并且申请上架也会被拒绝,拒绝理由是:“暂...
- u盘有东西但是显示文件夹为空
-
u盘里面有文件,却显示文件夹为空是因为文件被隐藏了,开启方法如下:需要用到的工具有:电脑、U盘。1、打开我的电脑,找到并点击进入U盘,2、在U盘目录里面,点击上方的属性功能。3、在属性页面,把隐藏对勾...
- 五笔86版输入法下载(86版五笔安装包)
-
要下载王码五笔86版官方,可以前往官方网站进行下载。安装时,先打开下载的安装文件,按照提示完成安装向导。在安装过程中,可以自定义安装路径,也可以选择安装组件。安装完成后,可以在输入法设置中选择王码五笔...
- 360游戏中心怎么关闭(360游戏中心怎么关闭自动更新)
-
1.你把360卸载了,换成QQ管家2.你把360卸载,再安装的时候,别一键安装要,改为自定义安装,在安装过程中,如果有弹出窗口,上面显示360游戏大厅,你把360游戏大厅前面的那个选择口里点一下,里面...
欢迎 你 发表评论:
- 一周热门
-
-
抖音上好看的小姐姐,Python给你都下载了
-
全网最简单易懂!495页Python漫画教程,高清PDF版免费下载
-
Python 3.14 的 UUIDv6/v7/v8 上新,别再用 uuid4 () 啦!
-
飞牛NAS部署TVGate Docker项目,实现内网一键转发、代理、jx
-
python入门到脱坑 输入与输出—str()函数
-
宝塔面板如何添加免费waf防火墙?(宝塔面板开启https)
-
Python三目运算基础与进阶_python三目运算符判断三个变量
-
(新版)Python 分布式爬虫与 JS 逆向进阶实战吾爱分享
-
失业程序员复习python笔记——条件与循环
-
系统u盘安装(win11系统u盘安装)
-
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (77)
- python封装 (57)
- python写入txt (66)
- python读取文件夹下所有文件 (59)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)
