百度360必应搜狗淘宝本站头条
python类型转换python串口编程python计时python异常python进度条
当前位置：网站首页 > 技术资源 > 正文

每天一个Python库:lxml全面实战指南，爬虫解析速度翻倍

off999 2025-06-28 15:50 31 浏览 0 评论

你是否遇到过：

  • BeautifulSoup 解析太慢？
  • re 提取数据太容易误匹配？
  • 抓数据时 HTML 太乱根本不好搞？

本期，我们用 lxml + XPath 一把梭！



学习本来就不是一蹴而就的事，不过只要你肯练、敢用，坚持一阵子，你一定能看到变化！

为什么推荐 lxml？

  • 比 html.parser 快 10 倍以上
  • 支持 XPath（选择 DOM 像切菜一样丝滑）
  • 支持 HTML/XML 双解析
  • 兼容 BeautifulSoup 作为后端

安装与准备

pip install lxml requests


常用操作大全（快速入门）

功能

语法示例

加载 HTML 字符串

etree.HTML(html_str)

读取 HTML 文件

etree.parse("file.html")

提取文本内容

xpath("//tag/text()")

提取属性值

xpath("//a/@href")

匹配包含关键词文本

xpath("//p[contains(text(),'关键词')]")

匹配多个属性

xpath("//div[@id='main' and @class]")


场景 1：从网页中提取标题、链接和内容

#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project ：Fish 
@File    ：D20.py
@Date    ：2025/6/19 20:36 
@Author : malijie
"""

from lxml import etree
import requests

url = "https://quotes.toscrape.com"
html = requests.get(url).text
tree = etree.HTML(html)

quotes = tree.xpath('//div[@class="quote"]')
for q in quotes:
    text = q.xpath('.//span[@class="text"]/text()')[0]
    author = q.xpath('.//small/text()')[0]
    print(f"{text} —— {author}")

优势：定位精准、速度极快、写法直观！


场景 2：解析本地 HTML 文件，提取表格数据

<!DOCTYPE html>
<html lang="zh-CN">
<head>
    <meta charset="UTF-8">
    <title>伊朗 VS 以色列 </title>
</head>
<body>
    <h1>伊朗 VS 以色列 对比表</h1>
    <table id="data-table" border="1">
        <tr>
            <th>对比项目</th>
            <th>伊朗</th>
            <th>以色列</th>
        </tr>
        <tr>
            <td>领土面积</td>
            <td>164.5万平方公里</td>
            <td>2.2万平方公里</td>
        </tr>
        <tr>
            <td>人口</td>
            <td>8855万</td>
            <td>977万</td>
        </tr>
        <tr>
            <td>现役军人</td>
            <td>51.8万</td>
            <td>16.9万</td>
        </tr>
        <tr>
            <td>预备役</td>
            <td>55万</td>
            <td>46.5万</td>
        </tr>
        <tr>
            <td>军费支出</td>
            <td>300亿</td>
            <td>465亿</td>
        </tr>
    </table>
</body>
</html>
#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project ：Fish 
@File    ：D20.py
@Date    ：2025/6/19 20:36
@Author : malijie
"""

from lxml import etree
tree = etree.parse("local_file.html", etree.HTMLParser())
rows = tree.xpath("//table[@id='data-table']//tr")

for row in rows[1:]:
    cols = row.xpath(".//td/text()")
    print(cols)


场景 3：数据清洗+结构提取

<!DOCTYPE html>
<html lang="zh-CN">
<head>
    <meta charset="UTF-8">
    <title>伊朗 VS 以色列 </title>
</head>
<body>
<div><p>国际原子能机构发出<b>紧急报道!</b><p>伊朗拥有409公斤高浓度浓缩铀神秘失去定位，</p>财联社报道<p>伊朗发生里氏4.3级地震。
</div>
</body>
</html>
#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project ：Fish 
@File    ：D20.py
@Date    ：2025/6/19 20:36
@Author : malijie
"""

from lxml import etree
tree = etree.parse("local_file.html", etree.HTMLParser())
texts = tree.xpath("//p//text()")
print(texts)
clean_text = "".join(texts).strip()
print(clean_text)


lxml + requests 实战小爬虫

#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project ：Fish 
@File    ：D20.py
@Date    ：2025/6/19 20:36
@Author : malijie
"""

import requests
from lxml import etree

url = "https://www.python.org/"
resp = requests.get(url)
tree = etree.HTML(resp.text)

titles = tree.xpath("//a/text()")
links = tree.xpath("//a/@href")

for t, l in zip(titles[:10], links[:10]):
    print(t.strip(), "=>", l)


常用 XPath 表达式（速查表）

表达式

含义

//div

所有 div 标签

//div[@class="box"]

class=box 的 div

//a/@href

提取 a 的 href 属性值

//ul/li[1]

ul 的第一个 li

//p[contains(text(), "abc")]

包含 abc 的 p 标签文本

//div//span

div 内任意层级的 span


性能对比（lxml vs BeautifulSoup）

#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project ：Fish 
@File    ：D20.py
@Date    ：2025/6/19 20:36
@Author : malijie
"""

import time

from bs4 import BeautifulSoup
from lxml import etree

html = "<ul>" + "<li>数据</li>" * 1000 + "</ul>"

start = time.time()
soup = BeautifulSoup(html, "lxml")
print("bs4耗时：", time.time() - start)

start = time.time()
tree = etree.HTML(html)
print("lxml耗时：", time.time() - start)

实测：lxml 平均快 5-10 倍，特别适合大量结构化提取任务！


总结一句话

如果你要处理网页或 HTML 数据，lxml 是你最值得信赖的“精准刀”！

  • 解析快
  • 语法清晰
  • 适合爬虫和清洗
  • 企业实战广泛使用


下期预告

《每天一个 Python 库：scrapy，打造自己的高性能爬虫框架！》

点赞关注不迷路，不错过每一期实战技巧！

后续还有更多自动化测试经验分享～评论区欢迎唠嗑交流！

点头像，发现更多精彩内容！

相关推荐

office2016家庭版激活密钥（office家庭版激活码2019）

走淘宝吧，因为零售版的密钥只能用一次。大概几块钱就能激活2016。如果你不在乎钱的话可以向我一样，订阅一个office365.实在不行可以和几个人一起买一个家庭版的365.出现这个情况，找微软申诉是没...

移动硬盘驱动器下载安装（移动硬盘驱动器下载安装教程）

1、右键单击您的桌面，选择“新建文件夹”，并命名该文件夹(例如“usb驱动程序”)；2、然后到本站下载驱动程序；3、将其解压缩至在您的桌面上刚刚创建的usb驱动程序文件夹；4、单击开始菜单，然后选择设...

电脑硬盘格式化工具（电脑 格式化硬盘）

硬盘格式化工具很多，PQMACGIG8.0（中文就叫硬盘分区魔法师）是比较好的一个，这个是在WINDOWS下比叫好用，（个人感觉）FDISK也是比较好的一个，这个一般用在DOS下分区格式化WIN...

photoshop是一款什么软件（ps指的是什么软件）

这个说法是错误的，ps软件“即：photoshop”是由美国著名的“adobe阿多比”公司出品的专业的图像处理软件，它不是由微软公司出品的软件。众所周知的是，微软公司以设计视窗操作系统名满全球，它出...

ipad越狱的好处与坏处（ipad越狱好不好）

　　好处一：　　1、重命名、重组应用程序　　如果你看着Sparrow(iOS最优秀邮件客户端)这个名字不爽，越狱之后就可以改成“Email”，如果你觉得“豆瓣电台”这个名字不给力，那就改成“中央人民广...

win7光盘重装系统步骤图解（win7光盘如何重装系统）

1.确认您的电脑支持从光盘启动。如果支持，可以直接将Windows7安装光盘插入电脑的光驱中。 2.打开电脑，按下F2、F10、F12或Delete等键进入BIOS设置界面。 ...

电脑已联网却无法上网（电脑已经联网了但是不能上网）

电脑连上网后，仍可能存在无法上网的情况，这可能是由多种原因造成的。以下是一些可能的原因和解决方法：1.浏览器问题：有时候，浏览器可能会出现故障，导致无法正常访问网络。您可以尝试清除浏览器的缓存和co...

u盘价格一览表（u盘单价）

不同品牌价格不同，不同内存价格也不同，例如8g、16g、32g、64g等多种容量大小的，根据容量的不同，报价在29元到120元之间不等。闪存盘虽然小，但相对来说却有很大的存储容量。U盘大多能够存储比一...

windows查看ip命令（windows如何查看ip地址）

查看电脑IP：    1)使用Windows+R键打开“运行”窗口，然后输入CMD进入命令提示窗口2)进入命令窗口之后，输入：ipconfig/all回车即可...

内存条的作用（内存条的作用和参数配置）

内存条是存储电脑运行所需的数据和程序，帮助CPU快速读取和运行，提高计算机的运行速度和处理能力。内存条也被称为随机存取存储器（RAM），是电脑中非常必要的一个组件。常见的内存条类型有DDR、DDR2、...

autocad2012安装失败（autocad2012无法安装）

如果您遇到CAD2012安装不了的问题，可能有几个原因导致这种情况。以下是一些常见的解决方法：1.确保系统要求：首先，请确保您的计算机符合CAD2012的系统要求。检查您的操作系统版本、内存、处理器...

win11 16g内存最佳虚拟内存（window10 16个g虚拟内存设置）

内存足够大可以将系统的虚拟内存关掉。1、鼠标右键【此电脑】，在菜单中选择【属性】。2、进入属性后，点击【高级系统设置】。3、进入系统属性后，点击高级下面的【设置】。4、进入性能设置后，点击【高级】。5...

查看windows7激活码（win7激活码哪里看）

windows7激活密钥如下：PPBK3-M92CH-MRR9X-34Y9P-7CH2FQ8JXJ-8HDJR-X4PXM-PW99R-KTJ3H8489X-THF3D-BDJQR-D27PH-P...

win10商业版和消费者版区别（win10商业版与消费者版）

1、用户群体的区别消费者版：通俗来说就是零售版，是一个非常适合个人用户和家庭用户购买的版本。商业版：适合大客户使用的版本，而且还比较适合企业用户使用以及进行批量部署。2、版本区别消费者版Consume...

bilibili加速器（bilibili加速器手机版官网）

需要在电脑上使用bilibili加速器，因为手机上bilibili已经有自带的加速器功能了。可以在bilibili官网或者一些应用商店下载使用，下完后按照安装提示进行安装即可。如果使用的是第三方软件，...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表
Copyright Your WebSite.Some Rights Reserved.