百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

Python爬取动态网页之selenium扫盲篇

off999 2024-10-19 07:11 32 浏览 0 评论

Selenium是什么

Selenium是在2004年由一个叫Jason Huggins的聪明的年轻人开发的,当时身处ThoughtWorks的他,为了不想让自己的时间浪费在无聊的重复性工作中,所以开发一个JS的类库来驱动浏览器页面的行为;这个js类库就是selenium core,同时也是seleniumRC、Selenium IDE的核心组件。这就是Selenium1.0的产生史。

在2006年,在google的一位有胆识的年轻人Simon Stewart发起了一个叫WebDriver的项目;因为长期以来google一直是selenium的重度用户,但却总是被限制在有限的操控范围内,所以Simon希望能通过浏览器、操作系统的底层方法等一些手段来直接操作浏览器;这样就避免了在JavaScript的沙箱环境里存在的那些限制了,webdriver项目就此诞生!

在2008年,Selenium和webdriver结合了,从此永结良缘,福泽我们广大的测试工作者。这期间谁追的谁都不重要了,重要的是他们合并的原因正如webdriver的作者所说:

部分原因是 selenium 补充了 webdriver 的不足

部分原因是 webdriver 补充了 selenium 的不足

部分原因是它们合体后能给用户提供一个更好的自动化测试框架

Selenium经历了两个版本,Selenium1.0 和Selenium2.0,Selenium 也不是简单一个工具,而是由几个工具组成,每个工具都有其特点和应用场景。通常都是用Selenium2

Selenium支持非常多的浏览器

我们这里主要用到的是PhantomJS

PhantomJS是一个而基于webkit的服务器端的JS API。

他全面支持各种原生的Web标准:DOM处理、CSS选择器、JSON、Canvas和SVG。最重要的是他是一个没有GUI的程序,

也就意味着他可以省去大量的加载图形界面的时间。而且利用selenium去调用上述浏览器,PhantomJS的速度最快

PhantomJS的安装:

Mac下安装PhantomJS:

brew install phantomjs

别的就麻烦大家自行搜索了

简单教程

我们写一个简单的例子,写一个脚本,通过百度替我们去搜索结果,并将网页以图片的形式保存下来

代码中注释写的很详细,如果有不懂的可以去看看http://selenium-python-zh.readthedocs.io/en/latest/

执行结果:

保存的图片:


这篇博客只是简单的介绍了一下selenium,让大家对他有个认识,下面的几篇文章将实际应用selenium到爬虫中

本文章是由热衷python和前端原创发布,如需转载请注明出处

欢迎大家关注头条号:热衷python和前端

如果有需要源码的同学就留言或者私聊我吧

相关推荐

office完整版下载(office2019完整版下载)

word是office软件中的一部份,完全的安装了office软件就等于安装了word。安装具体步骤如下:1、搜索,下载Office安装包。2、下载完成后,将Office安装包解压。选中Offic...

qq邮箱网页登陆(qq邮箱网页登陆提示安全风险要验证码)

qq邮箱的登录方法:1登录QQ后,正常情况下头像旁边有一个邮箱图标,点击直接登录QQ邮箱2如果没有在主面板上显示的话,可以点击界面管理器添加3在界面管理的右侧,找到QQ邮箱并设置为选状态这样就可直接从...

360软件管家有必要安装吗

360电脑管家这类软件属于安全软件,其作用是用来防病毒木马。有无安装必要主要看你的电脑使用习惯。比如有的电脑不联网,而且不插外来U盘,这样的电脑几乎与外界隔离,就没有必要安装安全软件。再比如有的电脑经...

如何桥接无线路由器并设置上网

1、登录副路由器管理界面操作电脑连接到副路由器的LAN口或无线信号(默认为TP-LINK_XXXX),打开浏览器,清空地址栏并输入tplogin.cn或192.168.1.1,设置不少于6位数的登录密...

电脑配置搭配(电脑配置搭配表)

电脑配置搭配需要考虑多个组件,包括CPU、主板、显卡、内存、硬盘、电源以及散热器等。以下是一些建议和指南:CPU选择:CPU是电脑的心脏,决定了电脑的整体性能。选择CPU时需要考虑核心数、主频、线程数...

新买的电脑从哪下载应用(电脑软件应用商店哪个好)
  • 新买的电脑从哪下载应用(电脑软件应用商店哪个好)
  • 新买的电脑从哪下载应用(电脑软件应用商店哪个好)
  • 新买的电脑从哪下载应用(电脑软件应用商店哪个好)
  • 新买的电脑从哪下载应用(电脑软件应用商店哪个好)
windows7安装步骤简述(win7的安装)

运行温度时期的电脑怎么组装?官方已经给出了相关配置:处理器(cpu)最好是主频1GHZ以上,32位或64位处理器,不过目前的处理器几乎都是64位的了,一般双核处理器都在1GHZ以上。  也就是说目前绝...

电脑删除的数据怎么恢复(电脑删除数据怎么恢复原状)

步骤一:打开电脑上已经装好的Superrecovery软件,直接进入到“向导模式”。首先,大家需要做的就是选择文件所在的位置,例如:需要恢复的数据是在移动存储设备上(如:U盘、SD卡等),直接选择设备...

小马激活office2010(小马激活win11)
  • 小马激活office2010(小马激活win11)
  • 小马激活office2010(小马激活win11)
  • 小马激活office2010(小马激活win11)
  • 小马激活office2010(小马激活win11)
删除数据恢复(删除数据恢复出厂设置)

1.在手机上下载手机数据恢复精灵,进入软件之后,选择微信恢复。2.点击开始恢复,选择需要恢复的联系人,等待一会儿,就能看到恢复好的聊天记录。3.可以安装打开互盾安卓恢复大师,手机数据线连接手机后,点击...

复制粘贴不了怎么解决(电脑不能复制粘贴了怎么处理)

1、查看手机输入法的剪贴板选项,是否有复制的文本,如果有就直接点击就可以直接输入了。2、复制后,长按不出来粘贴键的时候,需要把应用程序关闭掉重新开,重新复制粘贴,或者尝试重启手机。3、可以尝试重新复制...

u盘被写保护去除步骤(u盘的被写保护怎么解除)

U盘被写保护通常是因为存储器故障、病毒感染、文件系统损坏等原因导致的,但可以通过以下几种方法进行解除:1.检查U盘开关:一些U盘可能会有物理上的写保护开关,将其关闭即可解除写保护。2.使用命令行清...

电脑蓝屏怎么用u盘重装系统(电脑蓝屏重装系统教程u盘)

U盘装系统步骤:1.制作U盘启动盘。这里推荐U启动U盘启动盘制作工具,在网上一搜便是。2.U盘启动盘做好了,我们还需要一个GHOST文件,可以从网上下载一个ghost版的XP/WIN7/WIN8系统,...

erp管理软件(erp管理软件免费版)
erp管理软件(erp管理软件免费版)

用友的ERP应该说从3万-3000都有ERP的价格随着企业的规模不同,价格也是不一样的。因为企业规模不同产生的效果也是不一样的,所以用友的产品分T1/T3/T6/U8/U9/NC3万小企业做个财务业务一体化还是勉强可以做的。只...

2025-11-11 09:03 off999

笔记本启动黑屏怎么回事(笔记本启动黑屏没反应)

笔记本开机后黑屏最常遇到的一种情况:因随便点击垃圾网站而导致电脑中脑或受到木马的侵袭,致使电脑系统瘫痪,解决的办法就是重装电脑系统,装好系统后安装查毒软件,定期对电脑进行杀毒全盘扫描,然后平时尽量不要...

取消回复欢迎 发表评论: