Python网络爬虫——BeautifulSoup4库的使用
off999 2025-07-07 22:18 6 浏览 0 评论
使用requests库获取html页面并将其转换成字符串之后，需要进一步解析html页面格式，提取有用信息。
BeautifulSoup4库，也被成为bs4库（后皆采用简写）用于解析和处理html和xml。
1.调用
bs4库中最主要的便是bs类了，每个实例化的对象都相当于一个html页面
需要采用from-import导入bs类，同时通过BeautifulSoup（）创建一个bs对象
代码如下：
import requests
from bs4 import BeautifulSoup
r=requests.get("https://www.baidu.com/")
r.encoding="utf-8"
soup=BeautifulSoup(r.text)
print(type(soup))
运行结果：
2.常用属性
创建的BeautifulSoup对象是一个树形结构，它包含html页面中的每一个Tag（标签）元素，可以通过<a>.<b>的形式获得
常见的属性如下：
head：
html页面<head>内容
title：
html页面标题，在<head>之中，由<title>标记
body：
html页面<body>内容
p:
html页面第一个<p>内容
strings：
html页面所有呈现在web上的字符串，即标签的内容
stripped_string：
html页面所有呈现在web上的非空字符串
接下来尝试爬取百度的标语“百度一下，你就知道”
首先我们通过requests来建立请求，可以通过查看源代码找到对应部分
如下所示：
所以直接通过调用<title>标签即可
代码如下：
import requests
from bs4 import BeautifulSoup
r=requests.get("https://www.baidu.com/")
r.encoding="utf-8"
soup=BeautifulSoup(r.text)
title=soup.title
print(title)
结果如图所示：
3.标签常用属性
每一个标签在bs4中也是一个对象，被称为tag对象，以糯米为例，常见结构如下：
<a class=“mnav” href="http://www.nuomi.com">糯米</a>
其中尖括号（<>）中标签的名字为 name，其他项为attrs，尖括号之间的内容为string
所以常见的标签属性分为4种
name：
字符串、标签的名字
attrs：
字典、包含了原来页面tag的所有属性，比如href
contrnts：
列表、tag下所有子tag的内容
string：
字符串、tag所包含的文本，网页中的真实文字
由于html可以在标签中嵌套其他的标签，所以string返回遵循以下原则
①如果标签内没有其他标签，string属性返回其中的内容
②如果标签内部还有标签，但只有一个标签，string返回最里面的标签内容
③如果内部超过1层嵌套标签，则返回为none
依然以百度为例，我们需要找到第一个<a>标签的string代码应当如下：
import requests
from bs4 import BeautifulSoup
r=requests.get("https://www.baidu.com/")
r.encoding="utf-8"
soup=BeautifulSoup(r.text)
print(soup.a.string)
结果如图所示：
4.调用find()与find_all()
html中，同一个特标签会有很多内容，比如百度首页<a>一共有13处，但值返回第一处
所以这时候需要通过find与find_all来寻找，这两个方法都会遍历html文档按照条件返回内容
使用方法如下：
BeautifulSoup.find_all（name,attrs,recursive,string,limit）
name:以标签名字进行搜索，名字用字符串类型表示
attrs：按照标签的属性来搜索，需要列出属性的名字和值，用json方法表示
recursive：设置查找层次，只查找当前标签的西一层时使用recursiv=false
string：按照关键字查找string属性内容，采用string=开始
limit：返回结果个数，默认全部
至于find（）使用方法如find_all（）相同，
BeautifulSoup.find_all（name,attrs,recursive,string）
区别在于find（）只搜索第一个结果，find_all（）返回所有结果。
我们尝试来通过find_all（）来获取所有含有“百度”这一关键词的标签
首先需要调用re库，re是python的标准库可以采用compile（）对字符串的检索
所以代码如下：
import requests
import re
from bs4 import BeautifulSoup
r=requests.get("https://www.baidu.com/")
r.encoding="utf-8"
soup=BeautifulSoup(r.text)
w=soup.find_all(string=re.compile("百度"))
print(w)
结果如下：
最后，小编想说：我是一名python开发工程师，整理了一套最新的python系统学习教程，想要这些资料的可以关注私信小编“01”即可，希望能对你有所帮助。
相关推荐
- 用Python编制生成4位数字字母混合验证码
-
我们登录一些网站、APP的时候经常会有验证码，这个为了防止有人不停的去试探密码，还有发送短信验证之前，输入验证码就可以减少误点，错误操作等等。可以提高安全性，我们可以生成数字，也可以生成字母，也可...
- Python电子发票管理工具4:前后端业务逻辑实现
-
用一系列文章介绍如何用python写一个发票管理小工具。在前面的文章中前端页面和后端框架已经实现，本文将介绍功能实现的代码。数据库操作使用sqlalchemy操作sqlite数据库。sqlalchem...
- 【代码抠图】4行Python代码帮你消除图片背景
-
在修图工具满天飞的年代其实仍然还有很多人不会扣图（比如我），在很多需要去除某些照片上面的背景的时候就会很难受，所以今天就给不会扣图的小伙伴们来带一个简单的代码扣图教程，只需要4行代码，不用再多了。准备...
- Python 3.14 的 UUIDv6/v7/v8 上新，别再用 uuid4 () 啦!
-
Python3.14重磅更新！UUIDv6/v7/v8强势来袭，别再用uuid4()啦！为什么说UUID升级是2025年Python开发者的必学技能？在当今互联网应用中，UU...
- 殊途同归 python 第 4 节:有趣的键值对(字典)
-
字典数据的突出特点就是“键”和“值”，前文已经简单介绍过，本文来聊聊关于字典的几个高级玩法。1.函数打包后，通过键来调用globalf1,f2a={"k1":f1,"k2...
- 更有效地使用 Python Pandas 的 4 个技巧
-
一个简单而实用的指南照片由simonsun在Unsplash上拍摄Pandas是一个用于数据分析和操作任务的非常实用且功能强大的库。自2019年以来，我一直在使用Pandas，它始终能够为我...
- 4.python学习笔记-集合（python里面集合）
-
1.关于集合集合是一类元素无序不重复的数据结构，常用场景是元素去重和集合运算。python可以使用大括号{}或者set()函数创建集合，如果创建一个空集合必须用set()而不是{}，因为{}是用来表示...
- python生成4种UUID（python随机生成uuid）
-
总结了一份python生成4种UUID的代码：UUID用4种uuid生成方法：uuid1：基于时间戳由MAC地址、当前时间戳、随机数字。保证全球范围内的唯一性。但是由于MAC地址使用会带来安全问题...
- 你不知道的4种方法:python方法绘制扇形
-
1说明：=====1.1是问答中的我的一个回答。1.1因为问答中没有代码块的，所以我改为这里写文章，然后链接过去。1.24种方法：turtle法、OpenCV法、pygame法和matplot...
- 30天学会Python编程:4. Python运算符与表达式
-
4.1运算符概述4.1.1运算符分类Python运算符可分为以下几大类：4.1.2运算符优先级表4-1Python运算符优先级（从高到低）运算符描述示例**指数2**3→8~+-按位取...
- 这3个高级Python函数，不能再被你忽略了
-
全文共1657字，预计学习时长3分钟Python其实也可以带来很多乐趣。重新审视一些一开始并不被人们熟知的内置函数并没有想象中那么难，但为什么要这么做呢?今天，本文就来仔细分析3个在日常工作中或多或少...
- beautifulSoup4，一个超实用的python库
-
一.前言我们在学习python爬虫的时候，数据提取是一个常见的任务。我们一般使用正则表达式，lxml等提取我们需要的数据，今天我们介绍一个新的库beautifulSoup4，使用它您可以从HTML和...
- AI指导:打造第一个Python应用(4)（python ai开发）
-
眼瞅着迈过几个里程碑，与目标越来越近。尽管过程中照旧因返工而心焦，而欣喜与急躁比例，是喜悦运大于焦虑。从初次熟悉智能大模型，尝试编程起步，不定期进行复盘反思，这是小助手指导编程的第四篇。复盘以为记。需...
- wxPython 4.2.0终于发布了（wxpython安装教程）
-
wxPython是Python语言的跨平台GUI工具包。使用wxPython，软件开发人员可以为他们的Python应用程序创建真正的本地用户界面，这些应用程序在Windows、Ma...
- 《Python学习手册(第4版)》PDF开放下载，建议收藏
-
书籍简介如果你想动手编写高效、高质量并且很容易与其他语言和工具集成的代码，本书将快速地帮助你利用Python提高效率。本书基于Python专家的流程培训课程编写，内容通俗易懂。本书包含很多注释的例子和...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python字典遍历 (54)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (60)
- python读取文件夹下所有文件 (59)
- java调用python脚本 (56)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)