百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

小白也可以玩的Python爬虫库,收藏一下

off999 2025-07-10 20:00 5 浏览 0 评论

最近,微软开源了一个项目叫「playwright-python」,作为一个兴起项目,

出现后受到了大家热烈的欢迎,那它到底是什么样的存在呢?今天为你介绍一

下这个传说中的小白神器。

Playwright 是针对 Python 语言的纯自动化工具,它可以通过单个API自动

执行 Chromium,Firefox 和 WebKit 浏览器,连代码都不用写,就能实现

自动化功能。

虽然测试工具 selenium 具有完备的文档,但是其学习成本让一众小白们望而

却步,对比之下 playwright-python 简直是小白们的神器。

Playwright真的适用于Python吗?答案是肯定的,微软对于适用于Python的

Playwright已准备就绪。可能会发生API重大更改。但大概率是这种情况不会

发生,微软还表示仅在他们知道它可以改善您使用新库的体验时,才会可能这

样做。不过微软也提醒尚不支持特定于供应商的API的某些极端情况,例如收集

Chromium跟踪,覆盖率报告等。

1

Playwright介绍

Playwright是一个强大的Python库,仅用一个API即可自动执行

Chromium

Firefox

WebKit等主流浏览器自动化操作,并同时支持以无头

模式、有头模式运行。

Playwright提供的自动化技术是绿色的、功能强大、可靠且快速,支持

Linux

Mac以及Windows操作系统。

还有朋友这么夸:这个项目作为针对 Python 语言纯自动化的工具,解放了代

码,实现了自动化功能,我们来看看怎么用它吧。

2

Playwright使用

安装

Playwright的安装非常简单,两步解决。

安装playwright库

pip install playwright

安装浏览器驱动文件(安装过程稍微有点慢)

python -m playwright install

复制代码

上面两个pip操作分别安装:

安装Playwright依赖库,需要Python3.7+

安装Chromium、Firefox、WebKit等浏览器的驱动文件

录制

使用Playwright无需写一行代码,我们只需手动操作浏览器,它会录制我们的

操作,然后自动生成代码脚本。

下面就是录制的命令codegen,仅仅一行。

命令行键入 --help 可看到所有选项

python -m playwright codegen

复制代码

codegen的用法可以使用--help查看,如果简单使用就是直接在命令后面加上

url链接,如果有其他需要可以添加options。

python -m playwright codegen --help

Usage: index codegen [options] [url]

open page and generate code for user actions

Options:

-

o, --output <file name> saves the generated script to a file

--

target <language> language to use, one of javascript, python, python-async, csharp (default:

-

h, --help display help for command

Examples:

$

codegen

$

codegen --target=python

$

-

b webkit codegen https://example.com

复制代码

options含义:

-

o:将录制的脚本保存到一个文件

--

target:规定生成脚本的语言,有JS和Python两种,默认为Python

-

b:指定浏览器驱动

比如,我要在baidu.com搜索,用chromium驱动,将结果保存为my.py的

python文件。

python -m playwright codegen --target python -o 'my.py' -b chromium https://www.baidu.com

复制代码

命令行输入后会自动打开浏览器,然后可以看见在浏览器上的一举一动都会被

自动翻译成代码,如下所示。

结束后自动关闭浏览器,保存生成的自动化脚本到py文件。

from playwright import sync_playwright

def run(playwright):

browser = playwright.chromium.launch(headless=False)

context = browser.newContext()

# Open new page

page = context.newPage()

page.goto("https://www.baidu.com/")

page.click("input[name="wd"]")

page.fill("input[name="wd"]", "jingdong")

page.click("text="京东"")

# Click //a[normalize-space(.)='京东JD.COM官网 多快好省 只为品质生活']

with page.expect_navigation():

with page.expect_popup() as popup_info:

page.click("//a[normalize-space(.)='京东JD.COM官网 多快好省 只为品质生活']")

page1 = popup_info.value

# ---------------------

context.close()

browser.close()

with sync_playwright() as playwright:

run(playwright

此外,playwright还提供了同步和异步的API接口,文档如下。

链接:
https://microsoft.github.io/playwright-python/index.html

同步

下面示例代码:依次打开三个浏览器,前往baidu搜索,截图后退出。

from playwright import sync_playwright

with sync_playwright() as p:

for browser

_

type in [p.chromium, p.firefox, p.webkit]:

browser = browser

_

type.launch()

page = browser.newPage()

page.goto('https://baidu.com/')

page.screenshot(path=f'example-{browser_type.name}.png')

browser.close()

复制代码

异步

异步操作可结合asyncio同时进行三个浏览器操作。

import asyncio

from playwright import async_playwright

async def main():

async with async_playwright() as p:

for browser

_

type in [p.chromium, p.firefox, p.webkit]:

browser = await browser

_

type.launch()

page = await browser.newPage()

await page.goto('http://baidu.com/')

await page.screenshot(path=f'example-{browser_type.name}.png')

await browser.close()

asyncio.get_event_loop().run_until_complete(main())

复制代码

移动端

更厉害的是,playwright还可支持移动端的浏览器模拟。下面是官方文档提供

的一段代码,模拟在给定地理位置上手机iphone 11 pro上的Safari浏览器,

首先导航到maps.google.com,然后执行定位并截图。

from playwright import sync_playwright

with sync_playwright() as p:

iphone_11 = p.devices['iPhone 11 Pro']

browser = p.webkit.launch(headless=False)

context = browser.newContext(

**iphone_11,

locale='en-US',

geolocation={ 'longitude': 12.492507, 'latitude': 41.889938 }

,

permissions=['geolocation']

)

page = context.newPage()

page.goto('https://maps.google.com')

page.click('text="Your location"')

page.screenshot(path='colosseum-iphone.png')

browser.close()

复制代码

另外,还可以配合pytest插件一起使用,感兴趣可以自己试一下。

3

总结

总结

playwright相比已有的自动化测试工具有很多优势,其中有:

支持所有浏览器的

在Chromium,Firefox和WebKit上进行测试。Playwright拥有适用于所

有现代浏览器的完整API覆盖,包括Google Chrome和Microsoft

Edge(带有Chromium),Apple Safari(带有WebKit)和Mozilla

Firefox。

跨平台的WebKit测试。使用Playwright,使用适用于Windows,Linux

和macOS的WebKit构建,测试您的应用程序在Apple Safari中的行为。

在本地和CI上进行测试。

测试手机。使用设备仿真在移动Web浏览器中测试您的自适应Web应用程

序。

无报文头与有报文头。Playwright支持所有浏览器和所有平台的无头(无

浏览器UI)和有头(有浏览器UI)模式。有报文头模式适用于调试,而无报

文头适用于CI / cloud执行。

拥有快速可靠的执行

自动等待APIs。Playwright交互会自动等待直到元素准备就绪。这样可

以提高可靠性并简化测试编写流程。

无超时自动化。Playwright会接收浏览器信号,例如网络请求,页面导

航和页面加载事件,以消除导致睡眠中断的烦恼。

与浏览器上下文保持并行。对于多个并行孤立的浏览器上下文可执行环境

重复使用一个单独的浏览器实例。

弹性元素选择器。Playwright可以依靠面向用户的字符串(例如文本内

容和可访问性标签)来选择元素。这些字符串比紧耦合到DOM结构的选择

器更具弹性。

拥有强大的自动化功能

多个域,页面和框架。Playwright是一种进程外自动化驱动程序,不受

页面内JavaScript执行范围的限制,并且可以自动执行具有多个页面的方

案。

强大的网络控制。Playwright引入上下文范围的网络拦截以便进行终止

或者模拟网络请求。

现代网络功能。Playwright通过插入阴的选择器,地理位置,权

限,Web Worker和其他现代Web API支持Web组件。

涵盖所有场景的能力。支持文件下载和上传,进程外iframe,原生输入事

件,甚至是深色模式。

但它也有局限性

旧版Edge和IE11支持。Playwright不支持旧版Microsoft Edge或

IE11(弃用通知)。支持新的Microsoft Edge(在Chromium上)。

Java语言绑定:Playwright API目前无法在Java或Ruby中使用。这是

暂时的限制,因为Playwright旨在支持任何语言的绑定。

在真实的移动设备上进行测试:Playwright使用桌面浏览器来模拟移动

设备。

虽然有一些局限,但现在playwright 已经更新到了 1.7.0 版本,随着一代代

的更新,系统也会更为完善,作为一款小白神器,为大家省了那么多事情,我

们相信它的未来会越来越好。

相关推荐

推荐一款Python的GUI可视化工具(python 可视化工具)

在Python基础语法学习完成后,进一步开发应用界面时,就需要涉及到GUI了,GUI全称是图形用户界面(GraphicalUserInterface,又称图形用户接口),采用图形方式显示的计算机操...

教你用Python绘制谷歌浏览器的3种图标

前两天在浏览matplotlib官方网站时,笔者无意中看到一个挺有意思的图片,就是用matplotlib制作的火狐浏览器的logo,也就是下面这个东东(网页地址是https://matplotlib....

小白学Python笔记:第二章 Python安装

Windows操作系统的python安装:Python提供Windows、Linux/UNIX、macOS及其他操作系统的安装包版本,结合自己的使用情况,此处仅记录windows操作系统的python...

Python程序开发之简单小程序实例(9)利用Canvas绘制图形和文字

Python程序开发之简单小程序实例(9)利用Canvas绘制图形和文字一、项目功能利用Tkinter组件中的Canvas绘制图形和文字。二、项目分析要在窗体中绘制图形和文字,需先导入Tkinter组...

一文吃透Python虚拟环境(python虚拟环境安装和配置)

摘要在Python开发中,虚拟环境是一种重要的工具,用于隔离不同项目的依赖关系和环境配置。本文将基于windows平台介绍四种常用的Python虚拟环境创建工具:venv、virtualenv、pip...

小白也可以玩的Python爬虫库,收藏一下

最近,微软开源了一个项目叫「playwright-python」,作为一个兴起项目,出现后受到了大家热烈的欢迎,那它到底是什么样的存在呢?今天为你介绍一下这个传说中的小白神器。Playwright是...

python环境安装+配置教程(python安装后怎么配置环境变量)

安装python双击以下软件:弹出一下窗口需选择一些特定的选项默认选项不需要更改,点击next勾选以上选项,点击install进度条安装完毕即可。到以下界面,证明安装成功。接下来安装库文件返回电脑桌面...

colorama,一个超好用的 Python 库!

大家好,今天为大家分享一个超好用的Python库-colorama。Github地址:https://github.com/tartley/coloramaPythoncolorama库是一...

python制作仪表盘图(python绘制仪表盘)

今天教大家用pyecharts画仪表盘仪表盘(Gauge)是一种拟物化的图表,刻度表示度量,指针表示维度,指针角度表示数值。仪表盘图表就像汽车的速度表一样,有一个圆形的表盘及相应的刻度,有一个指针...

总结90条写Python程序的建议(python写作)

  1.首先  建议1、理解Pythonic概念—-详见Python中的《Python之禅》  建议2、编写Pythonic代码  (1)避免不规范代码,比如只用大小写区分变量、使用容易...

[oeasy]python0137_相加运算_python之禅_import_this_显式转化

变量类型相加运算回忆上次内容上次讲了是从键盘输入变量input函数可以有提示字符串需要有具体的变量接收输入的字符串输入单个变量没有问题但是输入两个变量之后一相加就非常离谱添加图片注释,不超过1...

Python入门学习记录之一:变量(python中变量的规则)

写这个,主要是对自己学习python知识的一个总结,也是加深自己的印象。变量(英文:variable),也叫标识符。在python中,变量的命名规则有以下三点:>变量名只能包含字母、数字和下划线...

掌握Python的&quot;魔法&quot;:特殊方法与属性完全指南

在Python的世界里,以双下划线开头和结尾的"魔法成员"(如__init__、__str__)是面向对象编程的核心。它们赋予开发者定制类行为的超能力,让自定义对象像内置类型一样优雅工...

11个Python技巧 不Pythonic 实用大于纯粹

虽然Python有一套强大的设计哲学(体现在“Python之禅”中),但总有一些情况需要我们“打破规则”来解决特定问题。这触及了Python哲学中一个非常核心的理念:“实用主义胜于纯粹主义”...

Python 从入门到精通 第三课 诗意的Python之禅

导言:Python之禅,英文名是TheZenOfPython。最早由TimPeters在Python邮件列表中发表,它包含了影响Python编程语言设计的20条软件编写原则。它作为复活节彩蛋...

取消回复欢迎 发表评论: