百度360必应搜狗淘宝本站头条
python类型转换python串口编程python计时python异常python进度条
当前位置：网站首页 > 技术资源 > 正文

纯粹干货，Python爬虫的生产线—爬虫框架

off999 2024-09-21 20:51 37 浏览 0 评论


前面的一些文章已经将爬虫的基础知识解析了一遍，不过距离实践应用还差一些东西。


用现实世界中的工程做一个比喻吧。

比如说要造一辆汽车，各种零件就是我们学习的各种基础知识，但是只有零件是造不出一辆汽车的，除了充足的零件之外，还需要一条运转良好的生产线，这样才能够够保质保量的生产出所需要的汽车。

在爬虫程序中的担任生产线这一角色的就是爬虫框架。即 Scrapy 爬虫框架 。

Scrapy爬虫框架

Scrapy是一个由Python编写的一个开源网络爬虫框架，是一个用于爬取网络数据、提取结构性数据的爬虫框架。在2008年6月出现初始版本，遵循 BSD License。


主要组件


1.Scrapy引擎（Engine）：Scrapy引擎用来控制整个系统的数据处理流程。


2.调度器（Scheduler）：调度器从Scrapy引擎接受请求并将请求排序列入队列，并在Scrapy引擎发出请求后返还给它们。


3.下载器（Downloader）：下载器用来抓取网页并将网页内容返还给爬虫（Spiders）。


4.爬虫（Spiders）：爬虫是由Scrapy用户自定义的用来解析网页并抓取特定URL返回内容的类，简单的说就是用来定义特定网站的抓取和解析规则的爬虫。也就是我们自己编写的关于特定规则的爬虫程序。


5条目管道（Item Pipeline）：条目管道的主要责任是负责处理由爬虫从网页中抽取的数据条目，它的主要任务是清理重复数据、验证是否是所需数据和存储数据至数据库。


6中间组件（Middlewares）：中间组件是介于Scrapy引擎和其他组件之间的一个连接框架，主要是为了提供自定义的代码来拓展Scrapy的功能，包括下载器中间组件和爬虫中间组件。


数据处理流程


Scrapy框架的整个数据处理流程由Scrapy引擎进行控制，通常的运转流程包括以下的步骤：


1.引擎询问爬虫需要处理哪个网站，并让爬虫提交第一个需要处理的URL。


2.引擎让调度器将需要处理的URL放在队列中。


3.引擎从调度器获取接下来需要爬取的页面。


4.调度器将下一个URL返回给引擎，引擎将它通过下载中间组件发送到下载器。


5.当下载器完成一个下载任务之后，响应内容通过下载中间组件发送到引擎；如果下载失败，引擎会通知调度器记录这个URL，然后会再次重新下载。


6.引擎收到下载器的响应并将它通过爬虫中间组件发送到爬虫进行处理。


7.爬虫处理响应并返回爬取到的数据条目，此外还要将需要将新的URL发送给引擎。


8.引擎将抓取到的数据条目送入条目管道，把新的URL发送给调度器放入队列中。


一般的数据处理流程就是如此，当所有的 URL 全部处理完成之后，从第二步到第八步的循环进程就会停止。


今天就先来解释一下 Scrapy 框架的知识与数据处理流程。


如果想学习更多科技知识，可以点击关注。


如果对文章中的内容有什么困惑的地方，可以在评论区提出自己的问题，学记同大家一起交流，解决各种问题，一起进步。


青年学记 陪伴着各位青年


作者：青年学记 一名不断进步的程序猿


一起学习 一起进步


走向自立

相关推荐

hdd硬盘和ssd（ssd硬盘和hdd硬盘是什么意思）

HDD硬盘和SSD硬盘是两种不同类型的电脑存储设备，它们有着以下区别：1.工作原理：HDD硬盘使用机械旋转的磁盘和读写磁头来存储和读取数据，而SSD硬盘则使用闪存存储数据，类似于USB闪存盘。2....

电脑免费软件下载大全（电脑上免费的下载软件）

正常情况下，如果我们想要在自己的电脑上面下载一个不要钱的单机游戏，那么我们是可以直接在我们的软件管理中心进行一个下载的，这个时候我们只需要通过一个权限就能够正常的下载，当然我们也是可以在一些小游戏的软...

mpp文件转换excel（mpp转换成pdf）

要将Excel表格转换为MPP格式，您可以按照以下步骤操作：1.打开Excel表格并确保数据按照项目的不同阶段或任务进行组织。2.将Excel表格中的数据复制到一个新的MicrosoftProj...

win7旗舰版开机密码忘记按f2

方法如下：开始-控制面板-用户帐户；在打开的更改用户帐户界面点击要更改的帐户；然后点击帐户左面的更改密码按钮；在打开的页面上，输入一次当前使用的密码，输入2次要更改的新密码然后保存退出就可以了...

笔记本无音频输出设备（笔记本无音频输出设备）

1、没有声卡驱动，解决方法就是找到笔记本的官网，下载电脑声卡的驱动安装即可。2、没有外界的音频播放设备，解决方法就是买一个外界的音频播放设备插到电脑主机的音频接口上即可。笔记本电脑显示未安装任何音频输...

iso文件能用手机打开吗（iso文件能用手机打开吗安全吗）

一般的压缩软件就可以打开的，比如，好压软件，这个打开只是解压形式的，如果你说的是运行iso文件，这个没有，况且安卓系统也不支持iso运行ISO文件一般用于光盘镜像文件的存储，如果想要在手机上运行ISO...

win7系统卡顿怎么优化（win7很慢很卡怎么优化）

1、首先打开安全卫士，进入安全卫士首页，单击软件窗口右下角的“更多”图标，打开扩展应用程序。2、单击选择“我的工具”。3、在我的工具菜单里面找到“人工服务”单击打开人工服务。4、在人工服务对话框有很多...

如何查看c盘微信聊天记录（如何查看c盘微信聊天记录内存大小）

微信群中的消息只要没删除基本都能保存，想要找微信群中几个多月前的消息可以直接根据日期来查找聊天记录。操作如下：1、打开想要查找记录的微信群，点击右上角人形图标；2、点击查找聊天内容；3、选择按日...

office2016家庭版激活密钥（office家庭版激活码2019）

走淘宝吧，因为零售版的密钥只能用一次。大概几块钱就能激活2016。如果你不在乎钱的话可以向我一样，订阅一个office365.实在不行可以和几个人一起买一个家庭版的365.出现这个情况，找微软申诉是没...

移动硬盘驱动器下载安装（移动硬盘驱动器下载安装教程）

1、右键单击您的桌面，选择“新建文件夹”，并命名该文件夹(例如“usb驱动程序”)；2、然后到本站下载驱动程序；3、将其解压缩至在您的桌面上刚刚创建的usb驱动程序文件夹；4、单击开始菜单，然后选择设...

电脑硬盘格式化工具（电脑 格式化硬盘）

硬盘格式化工具很多，PQMACGIG8.0（中文就叫硬盘分区魔法师）是比较好的一个，这个是在WINDOWS下比叫好用，（个人感觉）FDISK也是比较好的一个，这个一般用在DOS下分区格式化WIN...

photoshop是一款什么软件（ps指的是什么软件）

这个说法是错误的，ps软件“即：photoshop”是由美国著名的“adobe阿多比”公司出品的专业的图像处理软件，它不是由微软公司出品的软件。众所周知的是，微软公司以设计视窗操作系统名满全球，它出...

ipad越狱的好处与坏处（ipad越狱好不好）

　　好处一：　　1、重命名、重组应用程序　　如果你看着Sparrow(iOS最优秀邮件客户端)这个名字不爽，越狱之后就可以改成“Email”，如果你觉得“豆瓣电台”这个名字不给力，那就改成“中央人民广...

win7光盘重装系统步骤图解（win7光盘如何重装系统）

1.确认您的电脑支持从光盘启动。如果支持，可以直接将Windows7安装光盘插入电脑的光驱中。 2.打开电脑，按下F2、F10、F12或Delete等键进入BIOS设置界面。 ...

电脑已联网却无法上网（电脑已经联网了但是不能上网）

电脑连上网后，仍可能存在无法上网的情况，这可能是由多种原因造成的。以下是一些可能的原因和解决方法：1.浏览器问题：有时候，浏览器可能会出现故障，导致无法正常访问网络。您可以尝试清除浏览器的缓存和co...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表
Copyright Your WebSite.Some Rights Reserved.