Python爬虫利器Pyppeteer框架简介

off999 2024-12-14 14:24 31 浏览 0 评论

Selenium作为一款知名的WEB自动化测试框架，因其支持绝大多数主流的浏览器，而且提供了丰富的API接口，能方便的通过程序控制来对WEB应用进行各项功能测试。当然很多时候他也作为爬虫工具来从网络上获取相关数据。但是selenium也有其一定缺点，被人吐槽比较多的就是其配置要求比较严格而且经常要更新内核驱动，但是最令人头疼的那就是作为单纯爬虫来说太"重"了，各类驱动、接口都加载上导致其运行速度较慢。

今天给大家推荐一款更为轻量化的自动化框架——Pyppeteer。它其实是Puppeteer的Python实现，它通过DevTools协议来控制Chromium浏览器来实现对页面逻辑的自动化控制，从而可以获取页面内的数据。

结合Puppeteer官网给的介绍简单地来说它相当于是帮你在后台打开了一个浏览器，打开你所需要访问的网页，你可以通过它提供的各种浏览器控制接口来控制它的行为，当然你也可以通过其提供的接口来获取它页面中的内容。另外要说明的是这个“在后台”的浏览器通常成为headless模式，你也可以通过启动参数配置来让它展示在前台来，这样可以在调试阶段实时看到一步步的你程序代码的执行情况。

安装Pyppeteer

pip install pyppeteer

Pyppeteer库可以直接用pip命令进行安装，这个是很方便的。但是前文提到过Pyppeteer其实是需要控制Chromium浏览器来实现自动化功能的，所以在安装好Pyppeteer库之后还需要我们安装Chromium浏览器，安装过程也是比较简单，只需要在控制台执行“pyppeteer-install”即可。对比Selenium来说还是方便了不少，起码不用再去关心driver啥的了。另外需要说明的是，Chromium浏览器其实也可以不需要手动去安装，第一次运行Pyppeteer程序时，如果检测到没有安装浏览器的话它会自动去下载的。

测试

官方给的测试代码如下，我稍许加了点注释：

import asyncio
from pyppeteer import launch


async def main():
    browser = await launch()    #打开浏览器
    page = await browser.newPage()  #打开一个新的页面
    await page.goto('https://www.baidu.com')    #打开一个网页地址
    await page.screenshot({'path': 'example.png'})  #将页面截图
    await browser.close()   #关闭浏览器

asyncio.get_event_loop().run_until_complete(main())

是不是很简洁明了，和我们手动操作浏览器打开网页的操作逻辑很一致，所以这也是其魅力之一。

需要重点说明下的是Pyppeteer使用了asyncio库，顾名思义它是支持异步IO的，可以方便地应对高并发等场景需求，做爬虫的小伙伴是不是又眼前一亮了。同时也需要说明的是Pyppeteer库对Python版本要求是3.6+，所以小伙伴们使用前一定要注意下自己的Python版本。

Github项目主页：https://github.com/pyppeteer/pyppeteer

Pip项目主页：https://pypi.org/project/pyppeteer/

后续我会针对pyppeteer库的相关特性和用法进行介绍，感兴趣的小伙伴请关注我！

python爬虫库