一、Playwright简介：为什么选择它？

Playwright是由微软推出的新一代浏览器自动化框架，专为Web测试与数据抓取设计。其核心优势在于：

• 跨浏览器支持：统一API兼容Chromium、Firefox、WebKit（含Edge、Safari），无需切换驱动。
• 自动化等待机制：内置智能等待，减少手动定位延时，提升脚本稳定性。
• 无头/有头模式无缝切换：兼顾调试与性能需求。
• 低门槛安装：自动下载浏览器与驱动，告别环境配置烦恼。

对比传统工具（Selenium vs Playwright）：

二、安装与配置

• 环境要求

Python 3.7+（推荐使用虚拟环境管理）

安装Playwright：

pip install playwright

• 驱动安装（自动下载Chromium、Firefox、WebKit）

python -m playwright install

• 提速技巧：使用国内镜像源（如清华源）：

playwright install --driver-binary-mirror=https://mirrors.tuna.tsinghua.edu.cn/playwright

三、基础使用：同步 vs 异步模式

3.1 同步模式（适合新手）

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch(headless=False)
    page = browser.new_page()
    page.goto("https://www.example.com")
    page.click("text=Login")
    page.fill("#username", "testuser")
    page.screenshot(path="login.png")
    browser.close()

3.2 异步模式（性能优化）

import asyncio
from playwright.async_api import async_playwright

async def main():
    async with async_playwright() as p:
        browser = await p.chromium.launch()
        page = await browser.new_page()
        await page.goto("https://example.com")
        await page.evaluate("document.title = 'Test Page'")
        title = await page.title()
        print(title)  # 输出：Test Page
        await browser.close()

asyncio.run(main())

核心方法对比：

• sync_playwright() vs async_playwright()：上下文管理器，管理浏览器生命周期。
• page.goto(url)：导航至指定URL，自动等待页面加载完成。
• page.click(selector)：通过选择器定位元素并点击（支持CSS、XPath、文本匹配）。
• page.fill("#input", "text")：输入文本到指定输入框。

四、高级功能实战

4.1 元素定位与操作

Playwright提供三种定位方式：

• CSS选择器：

page.click("#submit-btn")  # 按ID定位
page.click("[data-testid=login]")  # 按自定义属性定位

• XPath：

page.click("xpath=//button[contains(text(), 'Login')]")

• 文本匹配（模糊/正则）：

page.click("text=Log in") # 精确匹配文本
page.click("text=/Log\s*in/i") # 正则匹配

实战示例：自动登录表单

def login(page):
    page.fill("#username", "admin")
    page.fill("#password", "123456")
    page.click("text=Login")
    # 断言登录成功
    expect(page).to_have_title("Dashboard")

4.2 事件监听与自动化测试

• 页面事件拦截：

def on_console_message(msg):
    print(f"Console log: {msg.text}")

page.on("console", on_console_message)

• 网络请求监控：

def intercept_response(response):
    if "api/login" in response.url:
        print(response.json())  # 打印登录接口返回数据

page.route("**/api/*", intercept_response)

4.3 网络Mock与数据拦截

• Mock接口响应：

def mock_handler(route):
    route.fulfill(body={"success": True}, status=200)

page.route("https://example.com/api/data", mock_handler)

• 上传/下载文件：

# 上传文件
with page.expect_file_chooser() as chooser:
    page.click("text=Upload")
    chooser.value.set_files("path/to/file.pdf")

# 下载文件
with page.expect_download() as download:
    page.click("text=Download")
    download.value.save_as("output.pdf")

五、实战案例：豆瓣电影爬虫

目标：爬取豆瓣电影Top250榜单信息（名称、评分、简介）。
步骤：

1. 启动Playwright，打开豆瓣页面。
2. 定位电影列表，解析元素内容。
3. 处理分页，循环抓取。
4. 数据存储（CSV/JSON）。

from playwright.sync_api import sync_playwright

def crawl_douban_top250():
    with sync_playwright() as p:
        browser = p.chromium.launch()
        page = browser.new_page()
        page.goto("https://movie.douban.com/top250")
        
        movies = []
        for page_num in range(1, 11):  # 共10页
            movie_items = page.query_selector_all(
                "//div[@class='item']"
            )
            for item in movie_items:
                title = item.query_selector("div.title a").text_content()
                rating = item.query_selector("span.rating_num").text_content()
                movies.append({
                    "title": title,
                    "rating": rating
                })
            # 翻页
            page.click("text=后页")
        
        return movies

# 保存为CSV
import csv
with open("douban_movies.csv", "w", newline="") as f:
    writer = csv.DictWriter(f, fieldnames=["title", "rating"])
    writer.writeheader()
    writer.writerows(crawl_douban_top250())

六、性能优化与调试技巧

1. 无头模式加速：

browser = p.chromium.launch(headless=True)

1. 延迟模拟：

page.locator("text=Submit").click(slow_mo=500) # 慢动作调试

1. 日志记录：

playwright.log.setLevel("DEBUG")

1. 代码生成工具：

playwright codegen --target python -o script.py https://example.com

实时记录操作并生成对应代码，快速生成原型脚本。

七、总结与展望

Playwright凭借其低门槛安装、智能等待、多浏览器支持等特性，已成为自动化测试与数据抓取的理想选择。

未来，其WebAssembly支持（跨平台）与移动端测试能力（如Appium集成）值得期待。

对于需要高稳定性、跨场景兼容的开发者，Playwright无疑是替代Selenium的优选方案。

参考资料：

• Playwright官方文档：https://playwright.dev/python
• 性能对比报告：https://playwright.dev/docs/benchmarks
• 代码生成工具使用指南：https://playwright.dev/docs/codegen

感谢点赞关注收藏：）