beautifulSoup4，一个超实用的python库

一.前言

我们在学习python爬虫的时候，数据提取是一个常见的任务。我们一般使用正则表达式，lxml 等提取我们需要的数据，今天我们介绍一个新的库beautifulSoup4，使用它您可以从HTML和XML文件中提取所需的信息。

什么是beautifulsoup4？

beautifulSoup4是一个用于解析HTML和XML文档的Python库。它使提取数据变得简单，快速且可靠。它允许您使用简单的Python语法来搜索，修改和导航网页结构

二.基本用法

1.安装

pip install beautifulsoup4

2.导入库

from bs4 import BeautifulSoup

3.创建BeautifulSoup对象

from bs4 import BeautifulSoup


import requests # 导入requests库，这个库用来发送请求
from lxml import etree # 这个用来解析html的
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36'}
# 发送请求
html_doc= requests.get('https://bing.ioliu.cn/',headers=headers)
soup = BeautifulSoup(html_doc, 'html.parser') # html_doc是我们要解析的HTML文档的字符串形式

第一个参数是要解析的HTML文档的字符串形式，第二个参数是解析器的选择，常用的有'html.parser'、'lxml'和'xml'等

4.查找元素

通过BeautifulSoup对象，我们可以使用各种方法来查找网页中的特定元素。以下是一些常见的查找方法：

a.使用标签名查找元素：soup.tag_name

>>> print(soup.input)
<input name="ie" type="hidden" value="utf-8"/>

b.使用类名查找元素：soup.find('class', 'class_name')

>>> print(soup.find("span",class_="tools")) # 第一个是标签名字，第二个class name
<span class="tools"><span id="mHolder"><div id="mCon"><span>
                                    输入法</span></div><ul id="mMenu"><li><a href="javascript:;" name="ime_hw">
                                    手写</a></li><li><a href="javascript:;" name="ime_py">
                                    拼音</a></li><li class="ln"></li><li><a href="javascript:;" name="ime_cl">
                                    关闭</a></li></ul></span></span>
>>>

c.使用ID查找元素：soup.find('id', 'id_name')

>>> print(soup.find("input",id = "su"))
<input class="bg s_btn" id="su" type="submit" value="百度一下"/>
>>>

d.使用属性查找元素：soup.find('tag_name', {'attr_name': 'attr_value'})

>>> print(soup.find("input",{"value":'百度一下'}))
<input class="bg s_btn" id="su" type="submit" value="百度一下"/>
>>>

e.使用CSS选择器查找元素：soup.select('css_selector')

>>> soup.select(".tools")
[<span class="tools"><span id="mHolder"><div id="mCon"><span>
                                    输入法</span></div><ul id="mMenu"><li><a href="javascript:;" name="ime_hw">
                                    手写</a></li><li><a href="javascript:;" name="ime_py">
                                    拼音</a></li><li class="ln"></li><li><a href="javascript:;" name="ime_cl">
                                    关闭</a></li></ul></span></span>]
>>>

5.遍历元素

一旦找到了目标元素，我们可以使用遍历方法来获取元素的子节点或兄弟节点。以下是一些常见的遍历方法：

a.遍历所有子节点：for child in soup.children:

>>> d = soup.find("div",id="s-top-left")
>>> for i in d.children:
  print(i)

b.遍历所有兄弟节点：for sibling in soup.next_siblings:

>>> d = soup.find("div",id="s-top-left")
>>> for i in d.next_siblings:
  print(i)

三.常见应用场景

1. 数据抓取BeautifulSoup4可以帮助我们从网页中提取所需的数据。例如，我们可以使用BeautifulSoup4来抓取新闻网站的标题和链接，或者从电商网站上提取商品的名称、价格和评论等信息。通过灵活的查找和遍历方法，我们可以轻松地获取到所需的数据。
2. 网页解析除了数据抓取，BeautifulSoup4还可以用于网页解析和分析。我们可以使用BeautifulSoup4来提取网页中的文本内容、图片链接、视频链接等，并对这些内容进行进一步的处理和分析。例如，我们可以使用BeautifulSoup4来分析某个网站的文章结构和关键词分布，或者提取某个博客页面的评论内容和用户信息等。
3. 数据清洗和预处理在进行数据分析和机器学习任务时，我们通常需要对原始数据进行清洗和预处理。BeautifulSoup4可以帮助我们完成这一步骤。例如，我们可以使用BeautifulSoup4来去除网页中的HTML标签和空格，或者对文本内容进行分词和去重等操作，从而得到干净和结构化的数据。

更多用法参考官方文档

https://www.crummy.com/software/BeautifulSoup/bs4/doc/