网页解析神器BeautifulSoup4,它让你轻松处理 HTML 页面，提取你想要的数据，是网页爬虫入门的第一步！

beautifulsoup4 是一个用于 HTML 和 XML 解析的 Python 库。相比正则表达式，它更智能、更优雅，能让你像操作树结构一样操作网页内容。

先看效果！

安装方式

pip install beautifulsoup4

推荐搭配使用 lxml 解析器：

pip install lxml

学习本来就不是一蹴而就的事，不过只要你肯练、敢用，坚持一阵子，你一定能看到变化！

入门示例

下面是一个完整的解析示例：

#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project ：Fish 
@File    ：D19.py
@Date    ：2025/6/18 19:00 
@Author : malijie
"""
from bs4 import BeautifulSoup

with open('test.html', 'r', encoding='utf-8') as f:
    html = f.read()

soup = BeautifulSoup(html, 'html.parser')

print(f"string:\t{soup.title.string}")
print(f"text:\t{soup.h1.text}")
print(f"class:\t{soup.p['class']}")
print(f"href:\t{soup.a['href']}")

用一句话总结：解析 HTML，像写剧本一样简单！

常用方法速查表

使用建议

• html.parser 是 Python 内置的解析器，无需额外安装，但功能有限。
• 推荐使用 lxml，速度更快、容错更强，下期重点介绍！

实战小练习

解析ycombinator页面中的问题标题：

#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project ：Fish 
@File    ：D19.py
@Date    ：2025/6/18 19:00 
@Author : malijie
"""

import requests
from bs4 import BeautifulSoup

url = "https://news.ycombinator.com/"
headers = {"User-Agent": "Mozilla/5.0"}

res = requests.get(url, headers=headers)
soup = BeautifulSoup(res.text, 'lxml')

# 提取每篇新闻标题和链接
articles = soup.select('.titleline > a')

for i, a in enumerate(articles, 1):
    title = a.text.strip()
    href = a['href']
    print(f"{i}. {title} {href}")

输出热门话题，几行代码就搞定！

小坑提示

• 有些网页是动态加载，BeautifulSoup 无法处理 JavaScript 渲染的内容，这时可以用 Selenium 或 Playwright。

下期预告

《每天一个 Python 库：lxml —— 速度与强度并存的 HTML 解析器》

点赞关注不迷路，不错过每一期实战技巧！

后续还有更多自动化测试经验分享～评论区欢迎唠嗑交流！

点头像，发现更多精彩内容！