百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

小白也可以玩的Python爬虫库,收藏一下

off999 2025-07-10 20:00 89 浏览 0 评论

最近,微软开源了一个项目叫「playwright-python」,作为一个兴起项目,

出现后受到了大家热烈的欢迎,那它到底是什么样的存在呢?今天为你介绍一

下这个传说中的小白神器。

Playwright 是针对 Python 语言的纯自动化工具,它可以通过单个API自动

执行 Chromium,Firefox 和 WebKit 浏览器,连代码都不用写,就能实现

自动化功能。

虽然测试工具 selenium 具有完备的文档,但是其学习成本让一众小白们望而

却步,对比之下 playwright-python 简直是小白们的神器。

Playwright真的适用于Python吗?答案是肯定的,微软对于适用于Python的

Playwright已准备就绪。可能会发生API重大更改。但大概率是这种情况不会

发生,微软还表示仅在他们知道它可以改善您使用新库的体验时,才会可能这

样做。不过微软也提醒尚不支持特定于供应商的API的某些极端情况,例如收集

Chromium跟踪,覆盖率报告等。

1

Playwright介绍

Playwright是一个强大的Python库,仅用一个API即可自动执行

Chromium

Firefox

WebKit等主流浏览器自动化操作,并同时支持以无头

模式、有头模式运行。

Playwright提供的自动化技术是绿色的、功能强大、可靠且快速,支持

Linux

Mac以及Windows操作系统。

还有朋友这么夸:这个项目作为针对 Python 语言纯自动化的工具,解放了代

码,实现了自动化功能,我们来看看怎么用它吧。

2

Playwright使用

安装

Playwright的安装非常简单,两步解决。

安装playwright库

pip install playwright

安装浏览器驱动文件(安装过程稍微有点慢)

python -m playwright install

复制代码

上面两个pip操作分别安装:

安装Playwright依赖库,需要Python3.7+

安装Chromium、Firefox、WebKit等浏览器的驱动文件

录制

使用Playwright无需写一行代码,我们只需手动操作浏览器,它会录制我们的

操作,然后自动生成代码脚本。

下面就是录制的命令codegen,仅仅一行。

命令行键入 --help 可看到所有选项

python -m playwright codegen

复制代码

codegen的用法可以使用--help查看,如果简单使用就是直接在命令后面加上

url链接,如果有其他需要可以添加options。

python -m playwright codegen --help

Usage: index codegen [options] [url]

open page and generate code for user actions

Options:

-

o, --output <file name> saves the generated script to a file

--

target <language> language to use, one of javascript, python, python-async, csharp (default:

-

h, --help display help for command

Examples:

$

codegen

$

codegen --target=python

$

-

b webkit codegen https://example.com

复制代码

options含义:

-

o:将录制的脚本保存到一个文件

--

target:规定生成脚本的语言,有JS和Python两种,默认为Python

-

b:指定浏览器驱动

比如,我要在baidu.com搜索,用chromium驱动,将结果保存为my.py的

python文件。

python -m playwright codegen --target python -o 'my.py' -b chromium https://www.baidu.com

复制代码

命令行输入后会自动打开浏览器,然后可以看见在浏览器上的一举一动都会被

自动翻译成代码,如下所示。

结束后自动关闭浏览器,保存生成的自动化脚本到py文件。

from playwright import sync_playwright

def run(playwright):

browser = playwright.chromium.launch(headless=False)

context = browser.newContext()

# Open new page

page = context.newPage()

page.goto("https://www.baidu.com/")

page.click("input[name="wd"]")

page.fill("input[name="wd"]", "jingdong")

page.click("text="京东"")

# Click //a[normalize-space(.)='京东JD.COM官网 多快好省 只为品质生活']

with page.expect_navigation():

with page.expect_popup() as popup_info:

page.click("//a[normalize-space(.)='京东JD.COM官网 多快好省 只为品质生活']")

page1 = popup_info.value

# ---------------------

context.close()

browser.close()

with sync_playwright() as playwright:

run(playwright

此外,playwright还提供了同步和异步的API接口,文档如下。

链接:
https://microsoft.github.io/playwright-python/index.html

同步

下面示例代码:依次打开三个浏览器,前往baidu搜索,截图后退出。

from playwright import sync_playwright

with sync_playwright() as p:

for browser

_

type in [p.chromium, p.firefox, p.webkit]:

browser = browser

_

type.launch()

page = browser.newPage()

page.goto('https://baidu.com/')

page.screenshot(path=f'example-{browser_type.name}.png')

browser.close()

复制代码

异步

异步操作可结合asyncio同时进行三个浏览器操作。

import asyncio

from playwright import async_playwright

async def main():

async with async_playwright() as p:

for browser

_

type in [p.chromium, p.firefox, p.webkit]:

browser = await browser

_

type.launch()

page = await browser.newPage()

await page.goto('http://baidu.com/')

await page.screenshot(path=f'example-{browser_type.name}.png')

await browser.close()

asyncio.get_event_loop().run_until_complete(main())

复制代码

移动端

更厉害的是,playwright还可支持移动端的浏览器模拟。下面是官方文档提供

的一段代码,模拟在给定地理位置上手机iphone 11 pro上的Safari浏览器,

首先导航到maps.google.com,然后执行定位并截图。

from playwright import sync_playwright

with sync_playwright() as p:

iphone_11 = p.devices['iPhone 11 Pro']

browser = p.webkit.launch(headless=False)

context = browser.newContext(

**iphone_11,

locale='en-US',

geolocation={ 'longitude': 12.492507, 'latitude': 41.889938 }

,

permissions=['geolocation']

)

page = context.newPage()

page.goto('https://maps.google.com')

page.click('text="Your location"')

page.screenshot(path='colosseum-iphone.png')

browser.close()

复制代码

另外,还可以配合pytest插件一起使用,感兴趣可以自己试一下。

3

总结

总结

playwright相比已有的自动化测试工具有很多优势,其中有:

支持所有浏览器的

在Chromium,Firefox和WebKit上进行测试。Playwright拥有适用于所

有现代浏览器的完整API覆盖,包括Google Chrome和Microsoft

Edge(带有Chromium),Apple Safari(带有WebKit)和Mozilla

Firefox。

跨平台的WebKit测试。使用Playwright,使用适用于Windows,Linux

和macOS的WebKit构建,测试您的应用程序在Apple Safari中的行为。

在本地和CI上进行测试。

测试手机。使用设备仿真在移动Web浏览器中测试您的自适应Web应用程

序。

无报文头与有报文头。Playwright支持所有浏览器和所有平台的无头(无

浏览器UI)和有头(有浏览器UI)模式。有报文头模式适用于调试,而无报

文头适用于CI / cloud执行。

拥有快速可靠的执行

自动等待APIs。Playwright交互会自动等待直到元素准备就绪。这样可

以提高可靠性并简化测试编写流程。

无超时自动化。Playwright会接收浏览器信号,例如网络请求,页面导

航和页面加载事件,以消除导致睡眠中断的烦恼。

与浏览器上下文保持并行。对于多个并行孤立的浏览器上下文可执行环境

重复使用一个单独的浏览器实例。

弹性元素选择器。Playwright可以依靠面向用户的字符串(例如文本内

容和可访问性标签)来选择元素。这些字符串比紧耦合到DOM结构的选择

器更具弹性。

拥有强大的自动化功能

多个域,页面和框架。Playwright是一种进程外自动化驱动程序,不受

页面内JavaScript执行范围的限制,并且可以自动执行具有多个页面的方

案。

强大的网络控制。Playwright引入上下文范围的网络拦截以便进行终止

或者模拟网络请求。

现代网络功能。Playwright通过插入阴的选择器,地理位置,权

限,Web Worker和其他现代Web API支持Web组件。

涵盖所有场景的能力。支持文件下载和上传,进程外iframe,原生输入事

件,甚至是深色模式。

但它也有局限性

旧版Edge和IE11支持。Playwright不支持旧版Microsoft Edge或

IE11(弃用通知)。支持新的Microsoft Edge(在Chromium上)。

Java语言绑定:Playwright API目前无法在Java或Ruby中使用。这是

暂时的限制,因为Playwright旨在支持任何语言的绑定。

在真实的移动设备上进行测试:Playwright使用桌面浏览器来模拟移动

设备。

虽然有一些局限,但现在playwright 已经更新到了 1.7.0 版本,随着一代代

的更新,系统也会更为完善,作为一款小白神器,为大家省了那么多事情,我

们相信它的未来会越来越好。

相关推荐

win vista与win7有什么区别(win7与vista关系)

WindowsVista和Windows7是微软公司推出的两个桌面操作系统,它们之间有以下主要区别:1.界面设计:Windows7的界面设计更加简洁明了,而WindowsVista的界面...

winxp系统版本(winxp 版本)

1、微软官方3个版本:WINDOWSXPHOME(家庭版)、Professional(专业版)、MediaCenter2005(媒体中心版),每个版本的功能不一样。使用最多的是Professional...

打印机无法共享怎么回事(打印机无法共享出去)

共享打印机无法打印原因一:可能是由于病毒死机解决方法:确定是否由于病毒死机,找一张干净(确信无病毒)的系统盘,从A驱动舒上启动电脑,检查此时打印机和主机能否联机。如果正常联机,估计这种故障是由攻击硬件...

ipv6无网络访问权限怎么解决

ipv6无网络访问权限解决方法如下1、点击电脑左下角的开始,进入到开始的菜单栏,在菜单栏中找到“运行”。或者通过快捷键Windows+R打开运行窗口。  2、打开运行的窗口页面后,在页面上输入“CMD...

office ltsc版(Office LTSC版本区别)

office2021和2021ltsc的区别如下:1.更新策略不同。前者采用每个月月度更新的方法,提供功能更新、安全更新。后者不采用每个月月度更新的方法,且不提供功能更新。2.界面不同。2021采用了...

安装win7需要激活吗(现在安装win7旗舰版还需密钥吗)

要激活  Windows7如果是预装在计算机中的,买来之后便不用激活,这里预装指的是在厂商那里。正版的Windows7安装到计算机中,有三十天的试用期,若要永久使用,就要使...

originos 3升级计划公布(originos升级包)

2023年2月。1.OriginOS3.0系统第一批升级时间为11月25日。2、包含iQOONeo7,X80系列,S15系列,iQOO9、iQOO10系列,以及折叠屏XFold系列和大屏XNo...

鸿蒙系统适配第三方机型(鸿蒙 第三方适配)

最新华为官方公布了鸿蒙系统3.0支持的机型名单,具体如下。鸿蒙系统3.0升级名单:1.Mate系列:MateXs2、MateX2、MateXs、Mate40、Mate40Pro、Mate...

imei怎么下载(imei changer apk)

如果您的steam序列号激活了,可以尝试以下方法下载:1.使用steam自带的下载工具,如“下载工具”,在软件的“下载”选项卡中选择“序列号下载”。2.在下载页面中,选择要下载的游戏,然后点击“下...

电脑系统优化软件哪个好(系统优化软件排行榜)

有必要用,非常好用,WINDOWS优化大师是一个网络上下载率极高的系统维护软件。多年未曾清理过系统和硬盘的电脑,系统内部将产生大量的垃圾文件、临时文件、废旧程序等等win10系统不需要经常更新,关闭...

重装系统后硬盘不见了(重装系统后磁盘不见了)

硬盘不见可能是因为重装系统时未正确安装驱动程序或未对硬件进行正确设置。你可以按以下步骤排查问题:进入BIOS检查硬盘是否被识别,尝试重新连接数据线和电源线,更新或安装适当的硬件驱动程序,或者使用硬件故...

冰封u盘装win7系统教程图解(冰封u盘启动装机教程)

1.查找激活工具:通常来说,Win7冰封系统已经包含了必要的驱动,所以如果你的电脑上并没有出现设备错误,那你就可以正常使用。如果你需要添加任何驱动,请尝试从厂商下载相应的驱动并执行自动安装程序。如果...

ppt软件电脑版推荐(电脑ppt软件下载哪个版好)
  • ppt软件电脑版推荐(电脑ppt软件下载哪个版好)
  • ppt软件电脑版推荐(电脑ppt软件下载哪个版好)
  • ppt软件电脑版推荐(电脑ppt软件下载哪个版好)
  • ppt软件电脑版推荐(电脑ppt软件下载哪个版好)
兄弟打印机怎么连接wifi(兄弟打印机怎么连接wifi手机打印)
  • 兄弟打印机怎么连接wifi(兄弟打印机怎么连接wifi手机打印)
  • 兄弟打印机怎么连接wifi(兄弟打印机怎么连接wifi手机打印)
  • 兄弟打印机怎么连接wifi(兄弟打印机怎么连接wifi手机打印)
  • 兄弟打印机怎么连接wifi(兄弟打印机怎么连接wifi手机打印)
uefi模式下找不到硬盘(uefi引导找不到硬盘)

首先你的安装盘必须是从UEFI启动的,然后它才能安装为UEFI启动。(条件:Fat32文件系统,efi文件夹)其次你MBR+BIOS的系统想换成GPT+EFI的,分区得做一点改动,腾出来100M的空...

取消回复欢迎 发表评论: