【前言】本案例的爬虫代码非常简单，主要是为了演示如何将网络图片保存到本地文件，同时改变一下思路，针对由域名后面加数字构成的分页URL地址，例如：http://www.aaa.com/page_1等，可以直接采取列表推导式的形式批量生成url列表，然后循环爬取即可。

一、预期目标

批量爬取图片网页上面的图片，并保存到本地文件。注意，本案例爬取的图片都是网页中的索引图片，并非原始大图，只为了演示编程思路。

网页地址：https://pic.netbian.com/4kmeinv/index_2.html

二、编程思路

• 本案例网页页面构成很简单，可以直接使用bs4模块的find_all()方法查找img标签获取所有包含图片url的内容
• 该网页使用的是gbk数据集，因此需要在代码中指定requests模块实例对象的编码为gbk
• 想要爬取的图片url中都包含uploads关键字，其它图片url中没有，因此可以通过这一点进行url过滤
• 获取到图片的完整url之后，可以使用requests模块请求到图片的内容
• 使用os模块的basename()方法获取图片url最后面的文件名部分，作为本地文件的文件名
• 使用requests实例对象的content属性获取图片的二进制内容，再使用‘wb’参数写入到本地文件。注意，这里不能使用requests实例对象的text属性获取图片内容

三、实例代码

import os
import requests
from bs4 import BeautifulSoup


# 获取一个url的html内容函数
def get_html(url):
    resp = requests.get(url)
    resp.encoding = 'gbk'
    return resp.text


# 下载一个html文本里包含图片的函数
def download_img(html):
    soup = BeautifulSoup(html, 'html.parser')
    imgs = soup.find_all('img')
    for img in imgs:
        src = 'https://pic.netbian.com' + img['src']
        # 过滤不包含uploads的url
        if 'uploads' not in src:
            continue

        print(f'正在爬取：{src}...')

        # 取图片url后面部分作为本地存储的文件名
        filename = os.path.basename(src)
        with open(f'美女图片/{filename}', 'wb') as wfile:
            resp_img = requests.get(src)
            wfile.write(resp_img.content)  # 存储图片即写入二进制数据，需要使用content获取二进制内容


if __name__ == '__main__':
    # 使用列表推导式的形式获取10页的url地址
    urls = [f'https://pic.netbian.com/4kmeinv/index_{page}.html' for page in range(2, 12)]
    for url in urls:
        html = get_html(url)  # 调用自定义函数获取html内容
        download_img(html)  # 调用自定义函数下载保存html内容中包含的图片