在Python中，我们可以使用多种的请求库来实现网页图片的爬取和下载，下面我们就来介绍如何使用BeautifulSoup来完成网络图片的下载

安装库

可以通过如下的操作步骤来完成

pip install requests beautifulsoup4

安装完成之后下面我们就来看看如何爬取并保存图片吧！

爬取并保存图片

第一步、引入相应的依赖库

import os
import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin

由于这里需要对图片进行本地的保存操作，所以需要用到os操作库

第二步、请求并获取图片路径

response = requests.get(url)
response.raise_for_status()

# 解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')
print(soup)
# 找到所有的图片链接
img_tags = soup.find_all('img')
print("获取到图片地址长度 %d", len(img_tags))

第三步、遍历并下载图片

    # 遍历每个图片链接
    for img in img_tags:
        # 获取图片的完整URL
        img_url = img.get('src')
        print(img_url)
        # 判断图片链接是否是以HTTP或者是HTTPS开头的
        if not img_url.startswith(('http://', 'https://')):
            img_url = urljoin(url, img_url)

            # 下载图片并保存到本地
        img_response = requests.get(img_url, stream=True)
        img_response.raise_for_status()

        # 生成图片的文件名
        img_filename = os.path.join(output_dir, img_url.split('/')[-1])

        # 将图片内容写入文件
        with open(img_filename, 'wb') as f:
            for chunk in img_response.iter_content(1024):
                f.write(chunk)

完整代码

import os
import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin


def download_images(url, output_dir):
    print("开始创建输出目录")
    # 创建输出目录，如果不存在的话
    if not os.path.exists(output_dir):
        os.makedirs(output_dir)
        print("目录创建成功")
        # 发送HTTP请求
    response = requests.get(url)
    response.raise_for_status()

    # 解析网页内容
    soup = BeautifulSoup(response.text, 'html.parser')
    print(soup)
    # 找到所有的图片链接
    img_tags = soup.find_all('img')
    print("获取到图片地址长度 %d", len(img_tags))
    # 遍历每个图片链接
    for img in img_tags:
        # 获取图片的完整URL
        img_url = img.get('src')
        print(img_url)
        # 判断图片链接是否是以HTTP或者是HTTPS开头的
        if not img_url.startswith(('http://', 'https://')):
            img_url = urljoin(url, img_url)

            # 下载图片并保存到本地
        img_response = requests.get(img_url, stream=True)
        img_response.raise_for_status()

        # 生成图片的文件名
        img_filename = os.path.join(output_dir, img_url.split('/')[-1])

        # 将图片内容写入文件
        with open(img_filename, 'wb') as f:
            for chunk in img_response.iter_content(1024):
                f.write(chunk)

url = 'https://www.hao123.com/'  # 替换为你要爬取的网页URL
output_dir = 'images'  # 图片将保存到这个目录
download_images(url, output_dir)

总结

此外，这个代码没有处理可能出现的各种错误，例如网络错误、HTTP错误等。在实际使用中，你可能需要添加更多的错误处理代码来确保程序的稳定性。