解放双手 | 10行Python代码实现一款网页自动化工具
off999 2024-10-31 14:01 38 浏览 0 评论
各种各样的网站在我们日常工作和学习中占据着举足轻重的地位,学习、影音娱乐、查询资料、协同办公,越来越多的任务都被迁移到浏览器。
因此,网页也蕴含着很多有价值、我们能够用得到的资源。例如,数据、歌曲、影视、文本、图片。所以,这几年来爬虫这项技术也成了很多开发人员必备的技能之一。
以Python爬虫为例,比较常用的爬虫手段是结合request、正则表达式等有一定门槛的工具来完成。而且,还需要对HTML、web具有一定的基础。
这把很多开发同学拒之门外,也让很多初学者花费很多功夫和时间来学习爬虫这些技能。
其实,除了上述提到那些具有一定门槛的爬虫知识之外,有一些另辟蹊径的同学会选择Selenium这款Web应用测试工具来完成爬虫任务,它能够像真正的用户一样完成一系列的操作。
Selenium已经很好用,但是,它的大多数交互还是和Web元素之间进行的,需要使用到HTML id、xpath、CSS选择器。虽然自动化程度高了一些,但是还不算足够的容易使用。
而本文的主角Helium则是在Selenium的基础上封装的更加高级的Web自动化工具,它能够通过网页端可见的标签、名称来和Web进行交互,例如,
- 点击键盘按键
- 右键点击
- 悬浮
- 滚动鼠标
- 拖动文件
- 刷新
- ......
通过Helium,即便不在了解Html、CSS这些知识,你依然可以轻松的完成Web自动化程序的开发,轻松掌握爬虫技能,同时能够辅助日常重复性劳动,彻底解放你的双手。
Helium
为了方便大家理解和使用,Helium作者把一些常用方法总结了一个清单。另外,在Python文件列出了公共函数,使用者可以通过阅读这个Python文件的代码来了解有哪些函数接口可以调用。
在前面GIF动图中给出了Helium与Github的交互过程,其中涉及了我们常用的操作,例如,
- 输入账号密码
- 点击按钮
- 跳转网页
在这里,我就不再重复这个过程,下面以爬取网页图片链接的例子来讲解一下Helium的用法,同时把Helium的常用操作串联起来。各位可以根据自己的需求,举一反三,来发挥Helium的价值。
首先,来了解一下我们个人在下载图片的过程中的具体流程。
- 打开百度搜索;
- 搜索相关图片;
- 跳转到图片页面;
- 打开图片;
- 点击下载按钮;
下面,就通过Helium来逐步完成上述5步。
打开百度搜索
Helium可以直接打开对应的网址,目前支持Chrome和火狐浏览器,只要用到start_chrome或者start_firefox函数,下面以Chrome浏览器为例,
from helium import *
start_chrome("www.baidu.com")搜索图片&跳转到图片页面
搜索图片过程中,首先需要在搜索框输出想要的目标图片,然后点击百度一下或者按下ENTER键。
write("詹姆斯")
click("百度一下")
// 或者
press(ENTER)
click("图片")打开图片
在前面Helium与Github交互的示例中,我们发现,Sign in、Username等都有标签名称。但是,我们在这里跳转到图片页面时,发现每幅图片并没有标签,那么我们该怎么确定点击哪一幅图呢?
好在Helium兼容了Selenium的接口,我们可以通过Selenium来获取页面的元素,然后结合Helium的点击就可以实现打开图片这一步骤。
// pn1是其中一幅图的名称,通过名称来获取对应的元素,然后调用Helium的click函数点击图片
img = driver.find_element_by_name("pn1")
click(img)点击下载按钮
最后一步就是点击下载按钮,这一步和上一步类似,我们先通过Selenium的接口来获取Web元素,然后点击即可。
download = driver.find_element_by_class_name("btn-download")
click(download)到这里,就完成了整个自动化爬取图片的过程,完成代码如下,
from helium import *
start_chrome("www.baidu.com")
write("詹姆斯")
press(ENTER)
click("图片")
img = driver.find_element_by_name("pn1")
click(img)
download = driver.find_element_by_class_name("btn-download")
click(download)可以看出,整条爬取图片的代码仅仅需要10行代码,和人为手动操作步骤一样,非常简单。
除了下载图片这项简单的任务,我们也可以利用它开发一款自动化的工具,例如文件的上传、编辑、下载影视音乐、B站视频等,可以举一反三。
如何查询指定元素名称?
在前面事例中,涉及到pn1、btn-download这2个HTML层面的内容,分别是元素名称和元素类别名称,那么,这是怎么获取的呢?
其实,非常简单,我们只需要鼠标右键点击对应按钮,然后选择检查即可。
我整理了10T+资源进行共享,其中包括实用工具、Python电子书、Spring视频教程、机器学习资源,扫码关注我的公众号“平凡而诗意”,后台回复相应关键字即可获得。除此之外,原创技术文章会第一时间推送,如果喜欢,麻烦点一下“在看”~
相关推荐
- 录音机下载免费安装(录音机下载免费安装到桌面)
-
现在的手机都是智能机,你想录音机自带可以直接下载一个录音机功能的就可以找到文件管理,看到音乐声音文件夹在里面的自带录音机不用下载,购买的新手机上就已经自带了。如果手机录音怎么下载,那么牛直接可以去...
-
- 十大免费加密软件(十大免费加密软件排行榜)
-
照片保险箱是一个超级强大的隐私保护应用,可以安全得隐藏您不想让人看见的照片和视频。照片保险箱采用了独特的文件隐藏保护技术,可以将您珍贵的照片与视频隐藏于一个隐秘空间。不仅如此,它更有着简洁的界面与影像浏览设计,让您可以随时随地愉悦地欣赏您的...
-
2026-01-19 06:51 off999
- 免费漫画app下载安装(腾讯漫画免费版下载)
-
去下载漫游飒飒,官方的,里面不玩游戏也可以直接看漫画,不要钱的,不过现在好像就只有电脑和安卓版,本人喜欢看欧美漫画,无奈大部分软件都没有免费欧美漫画。在此特别向题主推荐《漫画人》,国漫、日韩、欧美全覆...
- 游戏下载app(youtube官方下载app)
-
1、Taptap:Taptap是一个比较知名的手游平台,拥有众多的海内外手机游戏,游戏含量都比较高,平台页面简洁,综合有游戏简介与评分评价,可以直接下载游戏,还有更多的游戏社区内容可以浏览。2、九游:...
- objective(objective clause)
-
objective英:[?b?d?ekt?v]美:[?b?d?ekt?v]n.目标;目的;(望远镜或显微镜的)物镜;adj.客观的;就事论事的;不带个人感情的;客观存在的;基于事实的;宾格的;Obje...
- 红警2共和国之辉免费下载(手机版共和国之辉下载)
-
红警2共和国之辉下载方法如下1、首先打开电脑上的浏览器,在地址栏输入红警之家在官网的地址。2、点击地址栏后面的Go选项进入官网,红警之家,然后点击民国特别选项。3、单击立即下载选项,然后单击弹出页面上...
- gif制作软件app(gif制作软件app推荐)
-
我有一个制作gif动画的exe软件,在电脑上直接打开就能用,如果需要,我可以发你哦!以下手机软件可以给GIF图片加文字:1、GIF制作appGIF制作app是一款专业编辑Gif文件工具,它可以实现gi...
- ai绘图免费软件(ai制图软件免费)
-
推荐使用Procreate应用程序1因为它是一款功能强大的应用程序,具有出色的绘图和动画工具。2Procreate可以在iPad上使用,具有高质量的分辨率和颜色深度,可以创建出色的动画效果。3...
-
- 强力恢复数据软件免费版(强力数据恢复软件多少钱)
-
效果还是不错的,如果你的苹果手机有重要的数学不小心丟失了,就可以通过强力苹果恢复精灵找回来,而且真对手机不同的数据,都是非常到位的分类包括通讯类,图片以及其他三大版快若您要存储机身内存文件,聊天记录及连系人不慎删除且没有提前备份数据,那个...
-
2026-01-19 04:51 off999
- 魔兽地图下载网址(魔兽地图下载网址是什么)
-
魔兽地图可以通过以下步骤进行下载:打开魔兽地图下载网站,如hiveworkshop.com、epicwar.com等。在网站上搜索您想要下载的地图名称或关键词。找到您想要下载的地图后,点击下载按钮或链...
- qq阅读免费版下载(qq阅读免费版下载2019)
-
有免费栏目,但是一般里面的书都不是很好看。然后有的好看的书有免费章节,比如前面60章是免费的,后面的就开始收费。个人建议,可以开个QQ阅读的会员,QQ阅读会员就有专门的免费专区,里面每周都会更新很多的...
- 实时变声器(实时变声器下载)
-
有不少安卓免费变声器软件推荐MorphVOXPro中文版。这是一款非常有趣的语音变声器软件,程序的主要功能可以帮助你在上网用QQ、YY、Skype网络电话或者其他聊天工具进行语音聊天时随心所欲的变换...
- 汉语大词典电子版(汉语大词典电子版pdf)
-
《汉语大字典》是当今世界上规模最大、收集汉字单字最多、释义最全的一部汉语字典。全书约2000万字,共收单字56000多个,几乎包括了各种古今文献和图书资料中出现的所有汉字,可以说是汉语字典的集大成者...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (77)
- python封装 (57)
- python写入txt (66)
- python读取文件夹下所有文件 (59)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)
