Python爬虫:如何实现异步加载爬取图片?
off999 2025-05-05 18:06 2 浏览 0 评论
当我们了解了前面讲过的不同库的网页爬取后，在实践当中会发现有的时候代码检查没有问题，就是爬取不到数据，这是因为碰到了使用异步加载技术的网页。
何为异步加载？
想理解异步加载技术，先要知道传统的网页是如何加载的，首先，传统的网页更新内容需要对整个页面进行刷新更新，资源浪费较大，但是现在常用的异步加载技术（AJAX：JavaScript和XML）指的就是一种交互式网页应用技术，如没有翻页，一致下滑可以不断更新网页部分数据信息，同时当前网页基础框架和网址等信息都不变指的就是异步加载技术，大大的节约了网络资源。
还有一种判断是否使用了异步加载的方法，就是通过查看数据是否在网页源代码中。
使用了异步加载的网页后，网页中的内容在HTML中是找不到文本信息的，这时候通过常规三大爬取库是抓不到信息的，因此需要逆向去寻找推导出来网页是如何加载数据的过程，这个过程就叫做逆向工程。
如何实现逆向工程？
以Pexels网站为例，我们来看一下如何实现逆向工程：
- 打开Chrome浏览器对应Pexels网站，右键检查，打开网页源代码，选择Network选项卡。
- 继续手动下滑网页，会发现XHR文件在不断加载更新，通过上图红框可以发现在固定变化的URL：
https://www.pexels.com/search/book/?format=js&seed=&page=2&type=
https://www.pexels.com/search/book/?format=js&seed=&page=3&type=
https://www.pexels.com/search/book/?format=js&seed=&page=4&type=
尝试删除上述URL中的部分，得到
https://www.pexels.com/search/book/? page=2发现也可以返回正常的网页
这样就逆向推导出来了真实的网页URL，也知道了网页的变化规律，可以开始进行数据爬取了。
由于Pexels图片网站设置了比较严格的反扒机制，后续我们来讲如何破解，我们用hippopx图片网站来进行实践练习，此网站也有大量精美免费无版权图片，大家可尝试看看。
详细代码如下：
import requests
from lxml import etree
import os
headers={
"accept": "xxxx",
"cookie": "xxxx",
"User-Agent": "xxxx",
"referer": "xxxx"
}
list=[]
file='存储路径'
url='https://www.hippopx.com/'
html=requests.get(url,headers=headers)
selector=etree.HTML(html.text)
imgs=selector.xpath('//*[@id="flow"]/li/figure/a/img')
for img in imgs:
photo=img.get('src')
list.append(photo)
for item in list:
print(item)
data=requests.get(item,headers=headers)
fp= open(file+'/'+item.split('/')[-1],'wb')
fp.write(data.content)
fp.close()运行结果如下：
存储图片如下：
以上就是异步加载的内容，大家有任何疑问欢迎随时交流！
--每天一小步，未来一大步！
相关推荐
- Python自动化脚本应用与示例（python自动化脚本教程）
-
Python是编写自动化脚本的绝佳选择，因其语法简洁、库丰富且跨平台兼容性强。以下是Python自动化脚本的常见应用场景及示例，帮助你快速上手：一、常见自动化场景文件与目录操作O批量重命名文件...
- 如何使用Python实现一个APP（如何用python做一个程序）
-
要使用Python实现一个APP，你可以选择使用一些流行的移动应用开发框架，如Kivy、PyQt或Tkinter。这里以Kivy为例，它是一个跨平台的Python框架，可以用于创建漂亮的图形用户界面（...
- 免费定时运行Python程序并存储输出文档的服务推荐
-
免费定时运行Python程序并存储输出文档的服务推荐以下是几种可以免费定时运行Python程序并存储输出结果的云服务方案：1.PythonAnywhere特点：提供免费的Python托管环境支持定时...
- 【Python程序开发系列】如何让python脚本一直在后台保持运行
-
这是我的第385篇原创文章。一、引言让Python脚本在后台持续运行，有几种常见的方式，具体方式可以根据你的系统环境和需求选择。二、Linux或macOS系统2.1使用nohup命令no...
- 运行和执行Python程序（运行python的程序）
-
一、Python是一种解释型的脚本编程语言，这样的编程语言一般支持两种代码运行方式：交互式编程在命令行窗口中直接输入代码，按下回车键就可以运行代码，并立即看到输出结果；执行完一行代码，你还可以继续...
- Python 初学者指南:计算程序的运行时长
-
在编写Python程序时，了解程序的运行时长是一项很有用的技能。这不仅能帮助你评估代码的效率，还能在优化程序性能时提供关键的数据支持。对于初学者来说，计算程序运行时长其实并不复杂，接下来就让我们看...
- pyest+appium实现APP自动化测试，思路全总结在这里
-
每天进步一点点，关注我们哦，每天分享测试技术文章本文章出自【码同学软件测试】码同学公众号：自动化软件测试码同学抖音号：小码哥聊软件测试01appium环境搭建安装nodejshttp://nodej...
- 血脉觉醒后，编程小白我是如何通过Deepseek和Trae轻松开发软件的
-
以下就是作为一个编程小白的我，是如何一步步开发软件的保姆级教程，请点赞收藏：第一步：打开#deepseek#（首先关闭深度思考和联网搜索）输入或复制你要让它做一个什么样软件的要求和提示词（你可以先用...
- 我用Deepseek+Trae写的python小软件，小白也能轻松用上模型啦!
-
利用AI大模型deepseek，搭配TraeCN，用半个小时做了一个本地Ollama安装部署和一键卸载的小工具，哈哈哈！感觉还不错#deepseek#一直想做一个本地Ollama安装部署和一键卸载...
- 在安卓设备上运行Python的方法（安卓能运行python吗）
-
技术背景在安卓设备上运行Python可以为开发者提供更多的开发选择和灵活性，能够利用Python丰富的库和简洁的语法来开发各种应用，如游戏、脚本工具等。然而，由于安卓系统原生不支持Python，需要借...
- 零基础小白，DeepSeek全自动编程，超详细提示词，一键生成软件!
-
我前面发表了文章，详细说了编程零基础小白，如何利用DeepSeek进行编程的全过程，感兴趣的可以去看看：DeepSeek全自动编程很多人不会写提示词，不知道怎么开始对话。话不多说，请先看下图中的对话，...
- 小白用DeepSeek+Python编写软件（用python制作软件）
-
周末无事，用DeepSeek生成全部代码，写了一个mp3音乐播放器，几分钟搞定，DeepSeek确实太强大了。我的提示语是这么写的：“请用Python语言写一个音乐播放器，支持常见音乐格式，我是Pyt...
- 零基础使用DeepSeek开发Windows应用程序，超简单超实用!
-
你敢相信，我居然用DeepSeek开发了一个能用的Windows软件！整个过程就像和学霸同桌组队做作业，我负责提需求，DeepSeek负责写代码改bug，全程碰到任何问题直接丢给DeepSeek即可。...
- 第二篇:如何安装Python并运行你的第一个程序
-
欢迎回到我的Python入门教程系列！在上一篇中，我们讨论了为什么Python是一门值得学习的编程语言。今天，我们将迈出第一步：安装Python并运行你的第一个程序。无论你是Windows、macOS...
- Python 运行，带你找入口，快速读懂程序
-
有C或Java编程开发经验的软件开发者，初次接触python程序，当你想快速读懂python项目工程时，是否觉得python程序有些太过随意，让你看有些无所适从，进而有些茫然。这是...
欢迎 你 发表评论:
- 一周热门
- 最近发表
-
- Python自动化脚本应用与示例（python自动化脚本教程）
- 如何使用Python实现一个APP（如何用python做一个程序）
- 免费定时运行Python程序并存储输出文档的服务推荐
- 【Python程序开发系列】如何让python脚本一直在后台保持运行
- 运行和执行Python程序（运行python的程序）
- Python 初学者指南:计算程序的运行时长
- pyest+appium实现APP自动化测试，思路全总结在这里
- 血脉觉醒后，编程小白我是如何通过Deepseek和Trae轻松开发软件的
- 我用Deepseek+Trae写的python小软件，小白也能轻松用上模型啦!
- 在安卓设备上运行Python的方法（安卓能运行python吗）
- 标签列表
-
- python计时 (54)
- python安装路径 (54)
- python类型转换 (75)
- python进度条 (54)
- python的for循环 (56)
- python串口编程 (60)
- python写入txt (51)
- python读取文件夹下所有文件 (59)
- java调用python脚本 (56)
- python操作mysql数据库 (66)
- python字典增加键值对 (53)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python qt (52)
- python人脸识别 (54)
- python斐波那契数列 (51)
- python多态 (60)
- python命令行参数 (53)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- centos7安装python (53)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)