怎样使用scrapy爬取多页?Python爬虫:scrapy的手动请求发送

我们之前用scrapy爬取过某网的段子，还记得怎么爬取吗？

爬虫网站代码(spiders/duanzi.py)：

import scrapy
# 这里需要导入items.py文件包
from duanziPro.items import DuanziproItem


class DuanziSpider(scrapy.Spider):
    name = 'duanzi'
    # allowed_domains = ['www.xxx.com']
    start_urls = ['https://duanzixing.com/段子/']
    
    def parse(self, response):
        # 数据解析名称和内容
        article_list = response.xpath('/html/body/section/div/div/article')
        for article in article_list:
            title = article.xpath('./header/h2/a/@title').extract_first()
            note = article.xpath('./p[2]/text()').extract_first()

            # 实例化一个item类型对象，将解析到的数据存储到该对象中
            item = DuanziproItem()
            item['title'] = title
            item['note'] = note

            # 将item对象提交给管道
            yield item

item.py

import scrapy

class DuanziproItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    title = scrapy.Field()
    note = scrapy.Field()

管道文件代码(pipelines.py)：

class DuanziproPipeline:
  	def process_item(self, item, spider):
      print(item)

执行工程，打印数据如下：

数据看到了，但这只是一页，那怎么爬取多页呢？

有的同学就说了，这还不简单，直接加fro循环。

但有没有想过，管道的对象传递是yield，fro循环肯定行不通。

所以，这里我们引入了一个新的方式：手动请求发送。

手动请求发送

scrapy手动发送请求代码：

• GET

yield scrapy.Request(url,callback)

callback:制定解析函数，用于解析数据。

• POST

yield scrapy.FormRequest(url,callback,formdata)

formdata:字典，请求参数

代码实现：

我们先来创建一个新的工程：

1. scrapy start hanReqPro
2. cd hanReqPro
3. scrapy genspider www.xx.com

然后修改配置文件等等

好了后我们先分析下网站。

我们看到翻页后的网址是/段子/2/等，那么就可以定义一个url模板

# 通用的url模板
url = 'https://duanzixing.com/段子/%d/'

上面说了，需要一个callback函数,用于解析数据的实现。其实就是我们爬取一页时的数据解析函数parse:

def parse(self, response):
    # 数据解析名称和内容
    article_list = response.xpath('/html/body/section/div/div/article')
    for article in article_list:
        title = article.xpath('./header/h2/a/@title').extract_first()
        note = article.xpath('./p[2]/text()').extract_first()

        # 实例化一个item类型对象，将解析到的数据存储到该对象中
        item = HandreqproItem()
        item['title'] = title
        item['note'] = note

        # 将item对象提交给管道
        yield item

第一页的数据是直接传递给了管道，爬取5页的话，我们需要一个递归！

我们先在函数外定义一个page_num:

# 因为第一页有了，所以我们从第二页开始
page_num = 2

然后我们写递归代码，让yield scrapy.Request(url,callback)执行指定次数:

# 直接写在parse函数里面。放在yield item下面
				# 爬取剩下的4页
        while self.page_num <= 5:  # 结束递归的条件
            new_url = format(self.url % self.page_num)  # 其他页码对应的完整url
            self.page_num += 1
            # 对新的页码对应的url进行请求发送（手动请求GET发送）
            yield scrapy.Request(url=new_url, callback=self.parse)

管道中(pipelines.py)我们直接打印item就可以了，主要是看效果

class HandreqproPipeline:
    # 定义一个数值,记录接收item的次数。也就是记录打印了多少条数据
    count = 0

    def process_item(self, item, spider):
        print(item)
        self.count += 1
        print(self.count)

完整代码：

import scrapy
from handReqPro.items import HandreqproItem


class DuanziSpider(scrapy.Spider):
    name = 'duanzi'
    # allowed_domains = ['www.xx.com']
    start_urls = ['https://duanzixing.com/段子/']

    # 通用url模板
    url = 'https://duanzixing.com/段子/%d/'
    page_num = 2
		
    # 将段子网中所有页码对应的数据进行爬取（前五页）
    def parse(self, response):
        # 数据解析名称和内容
        article_list = response.xpath('/html/body/section/div/div/article')
        for article in article_list:
            title = article.xpath('./header/h2/a/@title').extract_first()
            note = article.xpath('./p[2]/text()').extract_first()

            # 实例化一个item类型对象，将解析到的数据存储到该对象中
            item = HandreqproItem()
            item['title'] = title
            item['note'] = note

            # 将item对象提交给管道
            yield item

            while self.page_num <= 5:
                new_url = format(self.url % self.page_num)
                self.page_num += 1
                yield scrapy.Request(url=new_url, callback=self.parse)

执行工程~我们就发现打印了60条数据，每页是12条，总共5页！

其他问题

• 为什么start_urls列表中的url会被自行进行get请求的发送？
  因为列表中的url其实是被start_requests这个父类方法实现的get请求发送

# 父类方法：这个是该方法的原始实现
    def start_requests(self):
        for u in self.start_urls:
            yield scrapy.Request(url=u, callback=self.parse)

• 如何将start_urls中的url默认进行post请求的发送？

重写start_requests(self)父类方法即可

def start_requests(self):
            for u in self.start_urls:
                yield scrapy.FormRequest(url,callback,formdata)

关注Python涛哥！学习更多Python知识！