当前位置：网站首页 > 技术资源 > 正文

每天一个Python库:lxml全面实战指南，爬虫解析速度翻倍

off999 2025-06-28 15:50 37 浏览 0 评论

你是否遇到过：

BeautifulSoup 解析太慢？
re 提取数据太容易误匹配？
抓数据时 HTML 太乱根本不好搞？

本期，我们用 lxml + XPath 一把梭！

学习本来就不是一蹴而就的事，不过只要你肯练、敢用，坚持一阵子，你一定能看到变化！

为什么推荐 lxml？

比 html.parser 快 10 倍以上
支持 XPath（选择 DOM 像切菜一样丝滑）
支持 HTML/XML 双解析
兼容 BeautifulSoup 作为后端

安装与准备

pip install lxml requests

常用操作大全（快速入门）

功能	语法示例
加载 HTML 字符串	etree.HTML(html_str)
读取 HTML 文件	etree.parse("file.html")
提取文本内容	xpath("//tag/text()")
提取属性值	xpath("//a/@href")
匹配包含关键词文本	xpath("//p[contains(text(),'关键词')]")
匹配多个属性	xpath("//div[@id='main' and @class]")

场景 1：从网页中提取标题、链接和内容

#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project ：Fish 
@File    ：D20.py
@Date    ：2025/6/19 20:36 
@Author : malijie
"""

from lxml import etree
import requests

url = "https://quotes.toscrape.com"
html = requests.get(url).text
tree = etree.HTML(html)

quotes = tree.xpath('//div[@class="quote"]')
for q in quotes:
    text = q.xpath('.//span[@class="text"]/text()')[0]
    author = q.xpath('.//small/text()')[0]
    print(f"{text} —— {author}")

优势：定位精准、速度极快、写法直观！

场景 2：解析本地 HTML 文件，提取表格数据

<!DOCTYPE html>
<html lang="zh-CN">
<head>
    <meta charset="UTF-8">
    <title>伊朗 VS 以色列 </title>
</head>
<body>
    <h1>伊朗 VS 以色列 对比表</h1>
    <table id="data-table" border="1">
        <tr>
            <th>对比项目</th>
            <th>伊朗</th>
            <th>以色列</th>
        </tr>
        <tr>
            <td>领土面积</td>
            <td>164.5万平方公里</td>
            <td>2.2万平方公里</td>
        </tr>
        <tr>
            <td>人口</td>
            <td>8855万</td>
            <td>977万</td>
        </tr>
        <tr>
            <td>现役军人</td>
            <td>51.8万</td>
            <td>16.9万</td>
        </tr>
        <tr>
            <td>预备役</td>
            <td>55万</td>
            <td>46.5万</td>
        </tr>
        <tr>
            <td>军费支出</td>
            <td>300亿</td>
            <td>465亿</td>
        </tr>
    </table>
</body>
</html>

#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project ：Fish 
@File    ：D20.py
@Date    ：2025/6/19 20:36
@Author : malijie
"""

from lxml import etree
tree = etree.parse("local_file.html", etree.HTMLParser())
rows = tree.xpath("//table[@id='data-table']//tr")

for row in rows[1:]:
    cols = row.xpath(".//td/text()")
    print(cols)

场景 3：数据清洗+结构提取

<!DOCTYPE html>
<html lang="zh-CN">
<head>
    <meta charset="UTF-8">
    <title>伊朗 VS 以色列 </title>
</head>
<body>
<div><p>国际原子能机构发出<b>紧急报道!</b><p>伊朗拥有409公斤高浓度浓缩铀神秘失去定位，</p>财联社报道<p>伊朗发生里氏4.3级地震。
</div>
</body>
</html>

#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project ：Fish 
@File    ：D20.py
@Date    ：2025/6/19 20:36
@Author : malijie
"""

from lxml import etree
tree = etree.parse("local_file.html", etree.HTMLParser())
texts = tree.xpath("//p//text()")
print(texts)
clean_text = "".join(texts).strip()
print(clean_text)

lxml + requests 实战小爬虫

#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project ：Fish 
@File    ：D20.py
@Date    ：2025/6/19 20:36
@Author : malijie
"""

import requests
from lxml import etree

url = "https://www.python.org/"
resp = requests.get(url)
tree = etree.HTML(resp.text)

titles = tree.xpath("//a/text()")
links = tree.xpath("//a/@href")

for t, l in zip(titles[:10], links[:10]):
    print(t.strip(), "=>", l)

常用 XPath 表达式（速查表）

表达式	含义
//div	所有 div 标签
//div[@class="box"]	class=box 的 div
//a/@href	提取 a 的 href 属性值
//ul/li[1]	ul 的第一个 li
//p[contains(text(), "abc")]	包含 abc 的 p 标签文本
//div//span	div 内任意层级的 span

性能对比（lxml vs BeautifulSoup）

#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project ：Fish 
@File    ：D20.py
@Date    ：2025/6/19 20:36
@Author : malijie
"""

import time

from bs4 import BeautifulSoup
from lxml import etree

html = "<ul>" + "<li>数据</li>" * 1000 + "</ul>"

start = time.time()
soup = BeautifulSoup(html, "lxml")
print("bs4耗时：", time.time() - start)

start = time.time()
tree = etree.HTML(html)
print("lxml耗时：", time.time() - start)

实测：lxml 平均快 5-10 倍，特别适合大量结构化提取任务！