python爬虫:如何保存二进制数据

off999 2024-11-22 19:03 30 浏览 0 评论

二进制数据为：图片、视频

将图片保存为以下这种形式的步骤：

以下以爬取豆瓣新书快递为例子

第一步：导包requests，re，os。没有requests的需要pip install requests，re和os为内置模块，不需要安装。

第二步：发送请求

url = 'https://book.douban.com/latest'  #需要爬取的网站链接
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36'
}  #大部分情况下，都需要加上headers才能访问成功，user-agent表示向访问网站提供你所使用的浏览器类型
response = requests.get(url, headers=headers)

if response.status_code==200:   #测试网站是否访问成功，200表示访问成功
    html_data = response.text    
#.text表示获取html类型数据，除了html，还有json和二进制数据，json数据用.json，二进制数据用.content
else:
    print('no data')

第三步：利用正则获取目标数据，这里用到re模块

先分析response里是否有要爬取的数据，如果有，如图按ctrl+F弹出搜索框，‘清洁女工手册’可以在response找到，那就可以在elements分析网页的结构，分析目标数据在哪些标签下，然后用正则匹配提取

#利用正则将需要的数据提取出来
z = '<a\sclass="cover".*?<img\ssrc="(.*?)"/>.*?<div.*?class="detail-frame".*?<a.*?href=".*?">(.*?)</a>'
#re.findall将所有(.*?)里的数据提出来
result = re.findall(z, html_data, re.S)   #re.S表示换行匹配，result的结果返回的是列表，因此要用for循环提取
for img_url,name in result:
    # print('图片链接：',img)
    imgs = requests.get(img_url).content  #对图片链接发送请求，获取图片二进制数据

第四步：保存数据，这里要用到os模块，用来判断文件夹是否存在，不存在则创建该文件夹

注意：

保存图片数据，因为图片为二进制数据，所以要用wb
保存数据需要写在for循环里，这样才能实现每爬取一张图片就保存一张

for img_url,name in result:
    # print('图片链接：',img)
    imgs = requests.get(img_url).content  #对图片链接发送请求，获取图片二进制数据

    #保存数据
    path = './豆瓣书籍/'        #获取的图片数据保存到这个路径下面
    if not os.path.exists(path):     #判断'./豆瓣书籍/'路径是否存在，不存在的话就创建这个文件夹
        os.makedirs(path)
    with open(path + '{}.jpg'.format(name),'wb') as f:    #将每一张图片命名为这张图片的名字
        f.write(imgs)       #将每次获取的图片数据都写入豆瓣书籍的文件夹下，一定要在for循环下，否则就只能保存第一张图片

第五步：打开文件夹里的图片，找到explorer即可打开创建的文件夹

python保存文件