怎样使用scrapy爬取多页?Python爬虫:scrapy的手动请求发送
off999 2024-11-12 12:01 108 浏览 0 评论
我们之前用scrapy爬取过某网的段子,还记得怎么爬取吗?
爬虫网站代码(spiders/duanzi.py):
import scrapy
# 这里需要导入items.py文件包
from duanziPro.items import DuanziproItem
class DuanziSpider(scrapy.Spider):
name = 'duanzi'
# allowed_domains = ['www.xxx.com']
start_urls = ['https://duanzixing.com/段子/']
def parse(self, response):
# 数据解析名称和内容
article_list = response.xpath('/html/body/section/div/div/article')
for article in article_list:
title = article.xpath('./header/h2/a/@title').extract_first()
note = article.xpath('./p[2]/text()').extract_first()
# 实例化一个item类型对象,将解析到的数据存储到该对象中
item = DuanziproItem()
item['title'] = title
item['note'] = note
# 将item对象提交给管道
yield itemitem.py
import scrapy
class DuanziproItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
title = scrapy.Field()
note = scrapy.Field()管道文件代码(pipelines.py):
class DuanziproPipeline:
def process_item(self, item, spider):
print(item)执行工程,打印数据如下:
数据看到了,但这只是一页,那怎么爬取多页呢?
有的同学就说了,这还不简单,直接加fro循环。
但有没有想过,管道的对象传递是yield,fro循环肯定行不通。
所以,这里我们引入了一个新的方式:手动请求发送。
手动请求发送
scrapy手动发送请求代码:
- GET
yield scrapy.Request(url,callback)
callback:制定解析函数,用于解析数据。
- POST
yield scrapy.FormRequest(url,callback,formdata)
formdata:字典,请求参数
代码实现:
我们先来创建一个新的工程:
- scrapy start hanReqPro
- cd hanReqPro
- scrapy genspider www.xx.com
然后修改配置文件等等
好了后我们先分析下网站。
我们看到翻页后的网址是/段子/2/等,那么就可以定义一个url模板
# 通用的url模板
url = 'https://duanzixing.com/段子/%d/'上面说了,需要一个callback函数,用于解析数据的实现。其实就是我们爬取一页时的数据解析函数parse:
def parse(self, response):
# 数据解析名称和内容
article_list = response.xpath('/html/body/section/div/div/article')
for article in article_list:
title = article.xpath('./header/h2/a/@title').extract_first()
note = article.xpath('./p[2]/text()').extract_first()
# 实例化一个item类型对象,将解析到的数据存储到该对象中
item = HandreqproItem()
item['title'] = title
item['note'] = note
# 将item对象提交给管道
yield item第一页的数据是直接传递给了管道,爬取5页的话,我们需要一个递归!
我们先在函数外定义一个page_num:
# 因为第一页有了,所以我们从第二页开始
page_num = 2然后我们写递归代码,让yield scrapy.Request(url,callback)执行指定次数:
# 直接写在parse函数里面。放在yield item下面
# 爬取剩下的4页
while self.page_num <= 5: # 结束递归的条件
new_url = format(self.url % self.page_num) # 其他页码对应的完整url
self.page_num += 1
# 对新的页码对应的url进行请求发送(手动请求GET发送)
yield scrapy.Request(url=new_url, callback=self.parse)管道中(pipelines.py)我们直接打印item就可以了,主要是看效果
class HandreqproPipeline:
# 定义一个数值,记录接收item的次数。也就是记录打印了多少条数据
count = 0
def process_item(self, item, spider):
print(item)
self.count += 1
print(self.count)完整代码:
import scrapy
from handReqPro.items import HandreqproItem
class DuanziSpider(scrapy.Spider):
name = 'duanzi'
# allowed_domains = ['www.xx.com']
start_urls = ['https://duanzixing.com/段子/']
# 通用url模板
url = 'https://duanzixing.com/段子/%d/'
page_num = 2
# 将段子网中所有页码对应的数据进行爬取(前五页)
def parse(self, response):
# 数据解析名称和内容
article_list = response.xpath('/html/body/section/div/div/article')
for article in article_list:
title = article.xpath('./header/h2/a/@title').extract_first()
note = article.xpath('./p[2]/text()').extract_first()
# 实例化一个item类型对象,将解析到的数据存储到该对象中
item = HandreqproItem()
item['title'] = title
item['note'] = note
# 将item对象提交给管道
yield item
while self.page_num <= 5:
new_url = format(self.url % self.page_num)
self.page_num += 1
yield scrapy.Request(url=new_url, callback=self.parse)执行工程~我们就发现打印了60条数据,每页是12条,总共5页!
其他问题
- 为什么start_urls列表中的url会被自行进行get请求的发送?
因为列表中的url其实是被start_requests这个父类方法实现的get请求发送
# 父类方法:这个是该方法的原始实现
def start_requests(self):
for u in self.start_urls:
yield scrapy.Request(url=u, callback=self.parse)- 如何将start_urls中的url默认进行post请求的发送?
重写start_requests(self)父类方法即可
def start_requests(self):
for u in self.start_urls:
yield scrapy.FormRequest(url,callback,formdata)关注Python涛哥!学习更多Python知识!
相关推荐
- cad官方正版下载(cad官方正版下载入口)
-
要下载CAD电脑软件,首先需要找到可靠的CAD软件提供商的官方网站。在官方网站上,您可以找到下载CAD软件的链接。点击链接后,您将被引导到下载页面,选择适合您操作系统的版本。然后,点击下载按钮开始下载...
- pptv下载(pptv下载速度慢怎么解决)
-
步骤/方法1、请到http://www.pptv.com首页,点击“免费下载”2、点击“保存“3、选择存放“PPLive网络电视”的位置,点击“保存”4、等待“PPTV网络电视”下载完成5、下载完成...
- 群发助手软件(群发助手软件怎么用)
-
很多微友一般的做法都是建立微群。而微信群的人数也有限制,同时是多人的聊天,谈不上群发消息,只能说是群聊。如果使用微信自带的群发助手就可以实现一对多的群发消息给好友,那么微信群发助手在哪里呢?下面就...
- google store(googlestore应用商店)
-
很好,我无法为您提供谷歌商店网页版的登录入口。因为谷歌商店是谷歌公司旗下的在线购物平台,仅支持访问外网进行访问,在国内无法直接访问。同时,谷歌商店也并未提供官方登录入口。如果您需要访问谷歌商店,建议您...
-
- 在线ps网页版(在线ps网页版手机免费使用)
-
1.PS在线是指在互联网上使用PS(Photoshop)软件进行图像处理和编辑的一种方式。2.原因是PS是一款功能强大的图像处理软件,可以进行各种图像编辑、修饰、合成等操作,因此在互联网上提供了在线版本,方便用户随时随地进行图像处理。3...
-
2026-01-17 03:51 off999
- xy苹果助手下载手机版(xy苹果助手ios版)
-
1、先在没越狱的iPhone手机上下载XY苹果助手。2、点击打开XY苹果助手并信任软件。3、在XY苹果助手的必备里点击下载按钮下载安装必备软件应用。4、特定的具体软件应用,可以在XY苹果助手里使用搜索...
- 魔兽争霸3冰封王座官网下载(魔兽争霸3冰封王座1.20e中文版下载_魔兽争霸3下载)
-
没法下载,因为没有说明在什么平台下载可以在网易的官方网站上进行下载,下载地址如下:https://dz.blizzard.cn/下载的时候请选择中间的“平台完整版”,这个版本包含了《魔兽争霸3》游戏本...
- 四人麻将(四人麻将图片)
-
1.标准打法:常规的打缺打法,不附加任何的特殊规则。2.标准下雨:在标准打法的基础上,加入下雨的功能,也就是杠牌。下雨分为明杠和暗杠。明杠:①玩家手中有三张一样的牌,其它玩家打出了第四张一样的牌,...
- 美图秀秀app下载安装免费(美美秀图手机版下载)
-
美图秀秀下载了找不到,应该是因为你的内存的原因,安装失败了。美图秀秀是一款使用很普遍的美图软件,可以满足大多数用户的需求,比如自己p图,或者是拼图都很好。可是,你发现你下载了美图秀秀,却在手机桌面没有...
- 街机游戏厅app(街机游戏厅app大全)
-
以下是几个不错的iOS街机游戏厅:MAME4iOS:这是一款非常流行的iOS街机游戏厅,可以让你在iPhone或iPad上运行多个街机游戏。iCade:这是一款专门为iCade控制器设计的街机游戏...
- 海外加速器下载(加速器中国免费)
-
迅游不能下载海外游戏的原因是因为一些海外游戏需要进行版权验证,而迅游没有获得这些游戏的版权许可。此外,由于不同国家的游戏法规和政策不同,迅游有时需要根据不同的规定进行调整,这也可能会限制用户下载一些海...
- 日语输入法app下载(simeji日语输入法官网下载)
-
谷歌输入法。安卓可以用的最好用的了吧,在设置里下载好所需要语言,打字时按那个切换即可。另外还有一个触宝,个人觉得不如谷歌。可以打出日文的输入法,很不错的日语输入法。安装后请在系统中添加输入法,即可使...
-
- 字体设计网站(字体设计 网站)
-
那就到这个网站,每次只能输入一个字,从小篆到甲骨文:http://www.internationalscientific.org就玩个静态页,很简单啊,教你一个作弊方法(反正你来这里讨教也不是自己完成作业),就是找一个你认为合适你作业要求...
-
2026-01-17 01:51 off999
-
- windows7旗舰版下载地址(win7官方旗舰版下载教程)
-
最简单的方法就是,下载完镜像文件后,直接把镜像文件解压,解压到非C盘,然后在解压文件里面找到setup.exe,点击运行即可。安装系统完成后,在C盘找到一个Windows.old(好几个GB,是旧系统打包在这里,垃圾文件了)删除即可。扩展资...
-
2026-01-17 01:43 off999
欢迎 你 发表评论:
- 一周热门
-
-
抖音上好看的小姐姐,Python给你都下载了
-
全网最简单易懂!495页Python漫画教程,高清PDF版免费下载
-
飞牛NAS部署TVGate Docker项目,实现内网一键转发、代理、jx
-
Python 3.14 的 UUIDv6/v7/v8 上新,别再用 uuid4 () 啦!
-
python入门到脱坑 输入与输出—str()函数
-
Python三目运算基础与进阶_python三目运算符判断三个变量
-
(新版)Python 分布式爬虫与 JS 逆向进阶实战吾爱分享
-
失业程序员复习python笔记——条件与循环
-
系统u盘安装(win11系统u盘安装)
-
Python 批量卸载关联包 pip-autoremove
-
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (77)
- python封装 (57)
- python写入txt (66)
- python读取文件夹下所有文件 (59)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)
