百度360必应搜狗淘宝本站头条
python类型转换python串口编程python计时python异常python进度条
当前位置：网站首页 > 技术资源 > 正文

每天一个Python库:lxml全面实战指南，爬虫解析速度翻倍

off999 2025-06-28 15:50 23 浏览 0 评论

你是否遇到过：

  • BeautifulSoup 解析太慢？
  • re 提取数据太容易误匹配？
  • 抓数据时 HTML 太乱根本不好搞？

本期，我们用 lxml + XPath 一把梭！



学习本来就不是一蹴而就的事，不过只要你肯练、敢用，坚持一阵子，你一定能看到变化！

为什么推荐 lxml？

  • 比 html.parser 快 10 倍以上
  • 支持 XPath（选择 DOM 像切菜一样丝滑）
  • 支持 HTML/XML 双解析
  • 兼容 BeautifulSoup 作为后端

安装与准备

pip install lxml requests


常用操作大全（快速入门）

功能

语法示例

加载 HTML 字符串

etree.HTML(html_str)

读取 HTML 文件

etree.parse("file.html")

提取文本内容

xpath("//tag/text()")

提取属性值

xpath("//a/@href")

匹配包含关键词文本

xpath("//p[contains(text(),'关键词')]")

匹配多个属性

xpath("//div[@id='main' and @class]")


场景 1：从网页中提取标题、链接和内容

#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project ：Fish 
@File    ：D20.py
@Date    ：2025/6/19 20:36 
@Author : malijie
"""

from lxml import etree
import requests

url = "https://quotes.toscrape.com"
html = requests.get(url).text
tree = etree.HTML(html)

quotes = tree.xpath('//div[@class="quote"]')
for q in quotes:
    text = q.xpath('.//span[@class="text"]/text()')[0]
    author = q.xpath('.//small/text()')[0]
    print(f"{text} —— {author}")

优势：定位精准、速度极快、写法直观！


场景 2：解析本地 HTML 文件，提取表格数据

<!DOCTYPE html>
<html lang="zh-CN">
<head>
    <meta charset="UTF-8">
    <title>伊朗 VS 以色列 </title>
</head>
<body>
    <h1>伊朗 VS 以色列 对比表</h1>
    <table id="data-table" border="1">
        <tr>
            <th>对比项目</th>
            <th>伊朗</th>
            <th>以色列</th>
        </tr>
        <tr>
            <td>领土面积</td>
            <td>164.5万平方公里</td>
            <td>2.2万平方公里</td>
        </tr>
        <tr>
            <td>人口</td>
            <td>8855万</td>
            <td>977万</td>
        </tr>
        <tr>
            <td>现役军人</td>
            <td>51.8万</td>
            <td>16.9万</td>
        </tr>
        <tr>
            <td>预备役</td>
            <td>55万</td>
            <td>46.5万</td>
        </tr>
        <tr>
            <td>军费支出</td>
            <td>300亿</td>
            <td>465亿</td>
        </tr>
    </table>
</body>
</html>
#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project ：Fish 
@File    ：D20.py
@Date    ：2025/6/19 20:36
@Author : malijie
"""

from lxml import etree
tree = etree.parse("local_file.html", etree.HTMLParser())
rows = tree.xpath("//table[@id='data-table']//tr")

for row in rows[1:]:
    cols = row.xpath(".//td/text()")
    print(cols)


场景 3：数据清洗+结构提取

<!DOCTYPE html>
<html lang="zh-CN">
<head>
    <meta charset="UTF-8">
    <title>伊朗 VS 以色列 </title>
</head>
<body>
<div><p>国际原子能机构发出<b>紧急报道!</b><p>伊朗拥有409公斤高浓度浓缩铀神秘失去定位，</p>财联社报道<p>伊朗发生里氏4.3级地震。
</div>
</body>
</html>
#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project ：Fish 
@File    ：D20.py
@Date    ：2025/6/19 20:36
@Author : malijie
"""

from lxml import etree
tree = etree.parse("local_file.html", etree.HTMLParser())
texts = tree.xpath("//p//text()")
print(texts)
clean_text = "".join(texts).strip()
print(clean_text)


lxml + requests 实战小爬虫

#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project ：Fish 
@File    ：D20.py
@Date    ：2025/6/19 20:36
@Author : malijie
"""

import requests
from lxml import etree

url = "https://www.python.org/"
resp = requests.get(url)
tree = etree.HTML(resp.text)

titles = tree.xpath("//a/text()")
links = tree.xpath("//a/@href")

for t, l in zip(titles[:10], links[:10]):
    print(t.strip(), "=>", l)


常用 XPath 表达式（速查表）

表达式

含义

//div

所有 div 标签

//div[@class="box"]

class=box 的 div

//a/@href

提取 a 的 href 属性值

//ul/li[1]

ul 的第一个 li

//p[contains(text(), "abc")]

包含 abc 的 p 标签文本

//div//span

div 内任意层级的 span


性能对比（lxml vs BeautifulSoup）

#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project ：Fish 
@File    ：D20.py
@Date    ：2025/6/19 20:36
@Author : malijie
"""

import time

from bs4 import BeautifulSoup
from lxml import etree

html = "<ul>" + "<li>数据</li>" * 1000 + "</ul>"

start = time.time()
soup = BeautifulSoup(html, "lxml")
print("bs4耗时：", time.time() - start)

start = time.time()
tree = etree.HTML(html)
print("lxml耗时：", time.time() - start)

实测：lxml 平均快 5-10 倍，特别适合大量结构化提取任务！


总结一句话

如果你要处理网页或 HTML 数据，lxml 是你最值得信赖的“精准刀”！

  • 解析快
  • 语法清晰
  • 适合爬虫和清洗
  • 企业实战广泛使用


下期预告

《每天一个 Python 库：scrapy，打造自己的高性能爬虫框架！》

点赞关注不迷路，不错过每一期实战技巧！

后续还有更多自动化测试经验分享～评论区欢迎唠嗑交流！

点头像，发现更多精彩内容！

相关推荐

华为云会议app下载（华为云会议下载）

 华为云会议可以在PC客户端或者手机客户端上一键发起立即会议,1秒创会。然后在会中选择企业通讯录中的人加入,系统会自动呼叫这些与会人,接听后即加入会议。ZOOM是一个云会议服务平台，为客户提...

路由器重置方法（路由器重置方法详细步骤）

路由器靠近WAN口边上的有一个小孔用于路由器的重置，路由器配置完成后，我们可能会忘记他的用户名或者是密码，那么我们可以把它恢复到出厂设置，再靠近万口或电源之间，有一个小孔，用一个尖锐的金属查一下大约五...

100个有效qq号以及密码（有效qq号和密码大全）

如果你的电脑知识好的话，不妨用一些复合密码！SHIFT+一些特殊符号，字母，数字！虽然麻烦了点，但总比被人盗号了的好，是吧！最好还用手机绑定一下，这样的话方便改密码也不怕QQ被盗了哦。。。QQ密码找回...

win10家庭中文版下载官网（windows10家庭中文版下载）

你好，激活Win10家庭中文版的方法：1.购买正版Win10家庭中文版激活码，然后在计算机上输入激活码，即可完成激活。2.如果您已经安装了Win10家庭中文版，但尚未激活，可以通过以下步骤激活：-...

电脑截图在哪里找（电脑截图在哪里找图片win10）

截图默认会保存在电脑的剪贴板中，可以通过以下步骤将其保存到本地：1.打开任意一款图片软件，如Paint、Photoshop、Word等。2.按下键盘上的Ctrl+V，或者在软件菜单栏中选择&#...

电脑里一堆microsoft visual

按照系统向下兼容原理，保留2010就可以了.1）你安装的时候是不是把创建快捷键的选项框都没选上，导致在开始菜单中没有找到相应的链接？2）去你的安装目录下，找到Microsoftvisualc++...

windows无法识别usb（windows无法识别usb设备）
windows无法识别usb（windows无法识别usb设备）

Windows无法识别USB，解决办法如下右键开始菜单打开设备管理器，在通用串行总线控制器中右键点击设备选择“卸载”，完成后重新启动计算机即可解决问题。这有可能是在组策略中禁用了USB口，可以使用快捷键【Win+R】运行gpedit.msc...

2025-11-10 11:51 off999

bios能看到硬盘 开机找不到硬盘

bios里可以看到硬盘，说明硬盘已经被主板识别。进系统找不到，可能硬盘没分区，或者硬盘是动态磁盘，还没有导入或激活。按win+r，输入diskmgmt.msc回车，就打开磁盘管理了，在里面可以给新硬盘...

找回qq聊天记录的方法（找回qq聊天记录怎么找）
  • 找回qq聊天记录的方法（找回qq聊天记录怎么找）
  • 找回qq聊天记录的方法（找回qq聊天记录怎么找）
  • 找回qq聊天记录的方法（找回qq聊天记录怎么找）
  • 找回qq聊天记录的方法（找回qq聊天记录怎么找）
无线网有个红叉（无线网有个红叉,搜索不到网络）

连接失败，路由坏换路由，外网坏，报修无线网络处出现红叉表示设备无法正常工作。请检查网卡驱动是否正常，无线网络开关是否打开。解决方法：查看电脑是否有无线网络开关，且是否打开。进入设备管理器检查网卡驱动是...

thinkpad笔记本官网首页（thinkpad官方商城）

官方网站　国内：http://www.thinkworld.com.cn　　　国内用户只需要访问国内即可。　　ThinkPad，中文名为“思考本”，在2005年以前是IBMPC事业部旗下的便携式计算机...

win7什么版本最好用（win7哪个版本最稳定流畅）

Windows7旗舰版，最好，最稳定。Windows7,是由微软公司（Microsoft）开发的操作系统，内核版本号为WindowsNT6.1。Windows7可供选择的版本有：简易版（Sta...

win7自带虚拟光驱怎么使用（win7系统虚拟光驱安装教程）

以DAEMONTools为例,360软件管家里面就有最新版的下.安装后使用方法如下:第一种方法：在虚拟光驱界面中,你先按一下中间工具栏最左边“+”符号的按钮，添加镜像文件（可以一次添加多个），这...

电脑装系统蓝屏（电脑装系统蓝屏重启开不了机）

蓝屏的原因往往集中在不兼容的硬件和驱动程序、有问题的软件、病毒等。解决办法：1、病毒的原因。使用电脑管家杀毒。2、内存的原因。用橡皮擦把内存条的金手指擦拭一下，把氧化层擦掉，确保内存条安装、运行正常。...

u盘安装软件（u盘安装软件到电视）

第一种情况：软件安装包可以直接下载的。在电脑上将软件安装包下载到本地硬盘，然后将下载好软件安装包拷贝到U盘上即可拿到别的电脑上去安装。分可为exe格式的和rar格式，exe格式直接安装，rar格式的解...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表
Copyright Your WebSite.Some Rights Reserved.