Python网络爬虫之分析网页（python爬虫爬取网页数据）
off999 2024-10-16 11:28 29 浏览 0 评论
一、分析并提取网页内容的有三种方式
?正则表达式（速度最快，但适应变化略差)
?Beautifulsoup库（速度是正则表达式的约几分之一)
?selenium或pyppeteer的中的浏览器对象的查找元素函数（速度是正则表达式的约百分之一，用在需要模拟在网页中进行输入，点击按钮等操作的时候)
二. 正则表达式（Regular Expressions）
概述：
正则表达式是一种强大的文本处理工具，它使用一种特殊的字符序列来描述搜索模式。在Python中，re模块提供了正则表达式的支持。正则表达式非常适合用于提取格式固定或已知的数据，如电话号码、邮箱地址、特定格式的字符串等。
优点：
执行速度快，特别是对于简单的匹配和提取任务。
语法灵活，可以定义复杂的搜索模式。
缺点：
难以处理复杂的HTML结构，特别是当HTML结构发生变化时，正则表达式可能需要频繁更新。
可读性和可维护性较差，特别是对于复杂的正则表达式。
示例：
假设我们要从一个简单的HTML页面中提取所有的电话号码，电话号码格式为123-456-7890。
<html>
<body>
<p>联系方式：123-456-7890</p>
<p>另一个号码：456-789-0123</p>
</body>
</html>
使用Python的re模块，我们可以这样提取电话号码：
import re
html_content = """
<html>
<body>
<p>联系方式：123-456-7890</p>
<p>另一个号码：456-789-0123</p>
</body>
</html>
"""
# 使用正则表达式匹配电话号码
phone_numbers = re.findall(r'\d{3}-\d{3}-\d{4}', html_content)
print(phone_numbers) # 输出: ['123-456-7890', '456-789-0123']
三. BeautifulSoup库
概述：
BeautifulSoup是一个用于从HTML或XML文件中提取数据的Python库。它创建了一个解析树，用于便捷地导航、搜索、修改文档。BeautifulSoup专注于文档的结构，而不是格式或数据的呈现方式。
优点：
易于学习和使用，提供了直观的方法来查找和修改HTML或XML文档。
能够处理复杂的HTML结构，并自动修正一些常见的HTML错误。
与正则表达式相比，更容易适应HTML结构的变化。
缺点：
相对于正则表达式，执行速度较慢。
对于需要高度性能优化的任务，可能不是最佳选择。
示例：
继续使用上面的HTML内容，但这次我们使用BeautifulSoup来提取所有的<p>标签内的文本。
from bs4 import BeautifulSoup
html_content = """
<html>
<body>
<p>联系方式：123-456-7890</p>
<p>另一个号码：456-789-0123</p>
</body>
</html>
"""
soup = BeautifulSoup(html_content, 'html.parser')
# 查找所有的<p>标签并提取其文本内容
p_tags = soup.find_all('p')
for p in p_tags:
print(p.get_text(strip=True)) # 输出: 联系方式：123-456-7890 另一个号码：456-789-0123
四. Selenium或Pyppeteer
概述：
Selenium和Pyppeteer是自动化测试工具，但它们也可以用于网络爬虫。它们通过模拟真实浏览器的行为来与网页交互，因此可以处理那些需要JavaScript渲染或用户交互才能显示的网页内容。
优点：
能够处理复杂的网页交互，如登录、点击按钮、填写表单等。
可以执行JavaScript代码，与动态加载的网页内容交互。
缺点：
执行速度较慢，特别是与正则表达式和BeautifulSoup相比。
需要额外的设置和配置，如安装浏览器驱动程序。
示例：
由于Selenium和Pyppeteer的示例通常涉及较长的代码和设置过程，这里只提供一个简化的概念示例。
假设我们要使用Selenium打开一个网页，并提取某个通过JavaScript动态加载的元素的内容。
from selenium import webdriver
# 配置WebDriver路径（这里以Chrome为例）
driver_path = 'path/to/chromedriver'
# 初始化WebDriver
driver = webdriver.Chrome(executable_path=driver_path)
# 打开网页
driver.get('https://example.com')
# 执行一些JavaScript代码或模拟用户交互（这里省略具体实现）
# ...
# 提取元素内容（这里以XPath为例，实际应用中可能需要根据页面结构调整）
element = driver.find_element_by_xpath('some/xpath/to/element')
print(element.text)
# 关闭浏览器
driver.quit()
请注意，上述Selenium示例是一个高度简化的版本，实际使用中你需要处理更多的细节，如等待元素加载、处理弹窗、处理错误等。
五、总结
每种方式都有其适用场景和优缺点。正则表达式适合处理简单的文本匹配和提取任务；BeautifulSoup适合处理复杂的HTML结构，特别是当HTML结构相对稳定时；Selenium或Pyppeteer则适合需要模拟真实浏览器行为的复杂网页交互任务。在选择使用哪种方式时，应根据具体需求、网页结构和性能要求综合考虑。
相关推荐
- Python函数参数和返回值类型:让你的代码更清晰、更健壮
-
在Python开发中，你是否遇到过这些抓狂时刻？同事写的函数参数类型全靠猜调试两小时发现传了字符串给数值计算函数重构代码时不知道函数返回的是列表还是字典今天教你两招，彻底解决类型混乱问题！让你的...
- 有公司内部竟然禁用了python开发，软件开发何去何从?
-
今天有网友在某社交平台发文：有公司内部竟然禁止了python开发！帖子没几行，评论却炸锅了。有的说“太正常，Python本就不适合做大项目”，还有的反驳“飞书全员用Python”。暂且不说这家公司...
- 写 Python 七年才发现的七件事:真正提高生产力的脚本思路
-
如果你已经用Python写了不少脚本，却总觉得代码只是“能跑”，这篇文章或许会刷新你对这门语言的认知。以下七个思路全部来自一线实战，没有花哨的概念，只有可落地的工具与习惯。它们曾帮我省下大量无意义...
- 用Python写一个A*搜索算法含注释说明
-
大家好！我是幻化意识流。今天我们用Python写一个A*搜索算法的代码，我做了注释说明，欢迎大家一起学习：importheapq#定义搜索节点类，包括当前状态、从初始状态到该状态的代价g、从该状态...
- 使用python制作一个贪吃蛇游戏,并为每一句添加注释方便学习
-
今天来设计一个贪吃蛇的经典小游戏。先介绍下核心代码功能（源代码请往最后面拉）：游戏功能：-四个难度等级：简单(8FPS)、中等(12FPS)、困难(18FPS)、专家(25FPS)-美...
- Python 之父 Guido van Rossum 宣布退休
-
Python之父GuidovanRossum在推特公布了自己从Dropbox公司离职的消息，并表示已经退休。他还提到自己在Dropbox担任工程师期间学到了很多东西——Python的类型注解（T...
- 4 个早该掌握的 Python 类型注解技巧
-
在Python的开发过程中，类型注解常常被忽视。但当面对一段缺乏类型提示、逻辑复杂的代码时，理解和维护成本会迅速上升，极易陷入“阅读地狱”。本文整理了4个关于Python类型注解的重要技巧...
- 让你的Python代码更易读:7个提升函数可读性的实用技巧
-
如果你正在阅读这篇文章，很可能你已经用Python编程有一段时间了。今天，让我们聊聊可以提升你编程水平的一件事：编写易读的函数。请想一想：我们花在阅读代码上的时间大约是写代码的10倍。所以，每当你创建...
- Python异常模块和包
-
异常当检测到一个错误时，Python解释器就无法继续执行了，反而出现了一些错误的提示，这就是所谓的“异常”,也就是我们常说的BUG例如：以`r`方式打开一个不存在的文件。f=open('...
- 别再被 return 坑了!一文吃透 Python return 语句常见错误与调试方法
-
Pythonreturn语句常见错误与调试方法（结构化详解）一.语法错误：遗漏return或返回值类型错误错误场景pythondefadd(a,b):print(a+b)...
- Python数据校验不再难:Pydantic库的工程化实践指南
-
在FastAPI框架横扫Python后端开发领域的今天，其默认集成的Pydantic库正成为处理数据验证的黄金标准。这个看似简单的库究竟隐藏着哪些让开发者爱不释手的能力？本文将通过真实项目案例，带您解...
- python防诈骗的脚本带注释信息
-
以下是一个简单但功能完整的防诈骗脚本，包含URL检测、文本分析和风险评估功能。代码结构清晰，带有详细注释，适合作为个人或家庭防诈骗工具使用。这个脚本具有以下功能：文本诈骗风险分析：检测常见诈骗关键...
- Python判断语句
-
布尔类型和比较运算符布尔类型的定义：布尔类型只有两个值：True和False可以通过定义变量存储布尔类型数据：变量名称=布尔类型值（True/False）布尔类型不仅可以自行定义，同时也可通过...
- 使用python编写俄罗斯方块小游戏并为每一句添加注释，方便学习
-
先看下学习指导#俄罗斯方块游戏开发-Python学习指导##项目概述这个俄罗斯方块游戏是一个完整的Python项目，涵盖了以下重要的编程概念：-面向对象编程（OOP）-游戏开发基础-数据...
- Python十大技巧:不掌握这些，你可能一直在做无用功!
-
在编程的世界里，掌握一门语言只是起点，如何写出优雅、高效的代码才是真功夫。Python作为最受欢迎的编程语言之一，拥有简洁明了的语法，但要想真正精通这门语言，还需要掌握一些实用的高级技巧。一、列表推导...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (77)
- python封装 (57)
- python读取文件夹下所有文件 (59)
- java调用python脚本 (56)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)