Python 爬虫框架Scrapy 简单介绍（python爬虫程序框架）

Scrapy 简介

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

Scrapy 使用了 Twisted 异步网络框架来处理网络通讯，结构清晰明了，并且包含了各种中间件接口，可以灵活的完成各种需求。

安装

Scrapy 是使用Python开发，属于Python的第三方包。它的安装和其他三方包没什么区别。当前Scrapy 最新版本为1.5，支持python2.7 和python3.4+版本的python。

Linux/Mac

在linux 和 Mac 系统下，可使用 pip安装。

pip install scrapy 

windows

在windows上安装的话，需要按照的依赖包比较多。官方建议直接使用 Anaconda 或 Miniconda ，通过conda-forge包来安装，这样可以解决各种因为window缺少包而引起的问题。

conda install -c conda-forge scrapy

架构介绍

Scrapy中的数据流由执行引擎控制，其过程如下:

• 引擎打开一个网站(open a domain)，找到处理该网站的Spider并向该spider请求第一个要爬取的URL(s)。
• 引擎从Spider中获取到第一个要爬取的URL并在调度器(Scheduler)以Request调度。
• 引擎向调度器请求下一个要爬取的URL。
• 调度器返回下一个要爬取的URL给引擎，引擎将URL通过下载中间件(请求(request)方向)转发给下载器(Downloader)。
• 一旦页面下载完毕，下载器生成一个该页面的Response，并将其通过下载中间件(返回(response)方向)发送给引擎。
• 引擎从下载器中接收到Response并通过Spider中间件(输入方向)发送给Spider处理。
• Spider处理Response并返回爬取到的Item及(跟进的)新的Request给引擎。
• 引擎将(Spider返回的)爬取到的Item给Item Pipeline，将(Spider返回的)Request给调度器。
• (从第二步)重复直到调度器中没有更多地request，引擎关闭该网站。

Scrapy 架构中各组件大致功能如下：

Scrapy 引擎 引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。

调度器(Scheduler) 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。

下载器(Downloader) 下载器负责获取页面数据并提供给引擎，而后提供给spider。

Spiders Spider是Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的URL的类。 每个spider负责处理一个特定(或一些)网站。 更多内容请看 Spiders 。

Item Pipeline Item Pipeline负责处理被spider提取出来的item。典型的处理有清理、 验证及持久化(例如存取到数据库中)。 更多内容查看 Item Pipeline 。

下载器中间件(Downloader middlewares) 下载器中间件是在引擎及下载器之间的特定钩子(specific hook)，处理Downloader传递给引擎的response。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。

Spider中间件(Spider middlewares) Spider中间件是在引擎及Spider之间的特定钩子(specific hook)，处理spider的输入(response)和输出(items及requests)。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。

各组件功能简单可总结如下，大多数情况下我们只需要定义其中的Spider和ItemPipline模块即可需求。

Scrapy 基本使用

我们已经把scrapy安装好了，并了解了它的基本架构和数据流程。接下来，我们使用scrapy来改写之前的爬虫项目，来熟悉它的各组件的使用方法。

第一步，创建项目

scrapy 提供了一些命令行工具，可直接生成项目代码。我们可直接使用如下命令来生成项目代码。

scrapy startproject v6_scrapy 

会生成如下代码：

scrapy.cfg 项目部署文件
v6_scrapy/spiders 爬虫Spiders模块存放目录
v6_scrapy/items.py 项目中的item文件
v6_scrapy/pipelines.py 项目中的Pipelines文件
v6_scrapy/settings.py 项目中的配置文件

第二步，编写Spider

在sipders目录中，添加我们的爬虫文件toutiao_spider.py，内容如下：

# -*- coding:utf-8 -*-
import scrapy


class ToutiaoSpider(scrapy.Spider):
    name = 'toutiao'
    start_urls = [
        'https://toutiao.io/c/ai?page=1',
    ]

    def parse(self, response):
        """
        实现html解析
        :param response:
        :return:
        """
        papers = response.xpath('//a[@rel="external"]')
        for paper in papers:
            title = paper.xpath('./@title').extract()[0]
            href = 'https://toutiao.io%s' % paper.xpath('./@href').extract()[0]
        
        print(title, href)

爬虫模块包含一个爬虫类，该类负责爬取网页的内容，并解析返回的html内容，从中提取我们需要的数据。爬虫类继承scrapy.Spider类，有以下截个属性和方法：

• name spider 的名字，用于区分爬虫类。
• start_urls spider 启动时，进行爬取的入口url列表。当没有制定特定的URL时，spider将从该列表中开始进行爬取。 因此，第一个被获取到的页面的URL将是该列表之一。 后续的URL将会从获取到的数据中提取。
• parse 当response没有指定回调函数时，该方法是Scrapy处理下载的response的默认方法。parse 负责处理response并返回处理的数据以及跟进的URL。 Spider 对其他的Request的回调函数也有相同的要求。

在完成之后，执行如下代码启动爬虫：

scrapy crawl toutiao

会看到我们需要抓取的东西被打印出来。

大家注意到代码中有个xpath()的用法，这是scrapy自己的一套数据提取机制，称为selector，他们通过特定的XPath和CSS 表达式来查询和提取html中的数据。

Selector 对象主要有4种方法：

• xpath(query) 传入XPath表达式，返回该表达式所对应的多有节点的selector list 列表。
• css(query)传入CSS表达式，返回该表达式所对应的多有节点的selector list 列表。
• extrac() 序列化该节点为Unicode字符串并返回list列表。
• re(regex) 根据传入的正则表达式提取数据，返回Unicode字符串列表。

使用如下：

scrapy.Selector(response).re('<a rel="next" href="(\S*)">下一页 ></a>')
scrapy.Selector(response).xpath('//title/text()')
scrapy.Selector(response).css('title::text').extract()[0]

# xpath和css 可简写为：
reponse.xpath()
reponse.css()

第三步，定义item

scrapy 使用Item类来结构化数据，以方便对数据的操作。Item 类是一个简单的容器，用来暂存被抓取到的数据，它提供了类似字典的API操作，很多操作类似字典。它需要继承自scrapy.Item， 代码如下：

class ToutiaoItem(scrapy.Item):
    title = scrapy.Field()
    href = scrapy.Field()

它的操作如下：

• 新建

item = ToutiaoItem(title='深度学习在推荐系统上的应用', href='https://toutiao.io/k/pmd2v1')

• 获取字段

print(item['title'])

• 获取键值

print(item.keys())
print(item.values())

• Item 复制

item1 = ToutiaoItem(item)
item2 = item.copy()

• dict 与item转化

dict_item = dict(item)
item = ToutiaoItem({'title':'深度学习在推荐系统上的应用', 'href':'https://toutiao.io/k/pmd2v1'})

spider 的parse方法可改写为:

     def parse(self, response):
        """
        实现html解析
        :param response:
        :return:
        """
        papers = response.xpath('//a[@rel="external"]')
        for paper in papers:
            title = paper.xpath('./@title').extract()[0]
            href = 'https://toutiao.io%s' % paper.xpath('./@href').extract()[0]
            item = ToutiaoItem({'title': title, 'href': href})
            yield item

我们使用yield关键字，将parse方法变为一个生成器，优化了代码，减少了数据资源占用。

说明，yield关键字和生成器，后面会讲到。大家可暂理解为一个高性能的列表对象即可。

第四步，构建 Item pipeline 持久化到文件

Item pipeline 是scrapy数据流的最后一步，它的主要功能有以下几点：

• 清理HTML数据
• 验证爬取数据的合法性
• 查重并丢弃
• 将爬取到的数据做持久化处理

我们今天使用到的便是持久化处理。

每个Item pipeline 是一个独立的类，它必须实现process_item(self, item, spider)方法，pipeline的每个组件会调用该方法，它必须返回一个item对象，或者抛出DropItem异常，被丢弃的Item将不会被之后的pipeline组件处理。代码如下：

我们看下如何将爬取到的数据保存到文件，代码如下：

class V6ScrapyFilePipeline(object):

    def __init__(self):
        self.file = open('toutiao.json', 'wb')

    def process_item(self, item, spider):
        if item['title']:
            line = json.dumps(dict(item))+"\n"
            self.file.write(line.encode())
            return item
        else:
            raise DropItem('在[%s]item中，没有title关键字'%item)

我们定义完Item pipeline后，还需要激活它，到settings.py配置中，添加如下配置：

ITEM_PIPELINES = {
   'v6_scrapy.pipelines.V6ScrapyFilePipeline': 1,
}

ITEM_PIPELINES是一个字典，key为pipeline的路径，value为整数值，pipeline会安装这个整数值由低到高顺序执行。该整整数值一般在0到1000之间。

settings.py中配置的pipelines会应用于所有的spider类，我们也可以单独为某个spider类配置自己的pipeline。如下：

class MysqlSpider(scrapy.Spider):

    custom_settings = {
        'ITEM_PIPELINES':{
            'v6_scrapy.pipelines.V6ScrapyFilePipeline': 1,
    }

此时，我们再去启动爬虫：

scrapy crawl toutiao

我们会看到，生成了一个数据文件toutiao.json，我们的数据成功保存下来。

其实，scrapy 内建了一些存储的pipeline，我们可以直接通过命令行工具来时用，例如可直接将数据保存为csv文件，可执行如下命令：

scrapy crawl toutiao -o toutiao.csv

更多内建pipeline，可参考这里

第五步，使用Item pipeline 持久化到数据库

在settings.py 配置文件中添加mysql的链接信息。

# db configrations
MYSQL_HOST = 'localhost'
MYSQL_PORT = 3306
MYSQL_DB = 'spider'
MYSQL_USER = 'root'
MYSQL_PWD = 'root'

代码如下：

class V6ScrapyDBPipeline(object):

    def __init__(self, host, port, db, user, pwd):
        self.host = host
        self.port = port
        self.db = db
        self.user = user
        self.pwd = pwd

    @classmethod
    def from_crawler(cls, crawler):
        """
        钩子函数，会调用它来初始化Pipeline
        :param crawler:
        :return:
        """
        return cls(
            host=crawler.settings.get('MYSQL_HOST'),
            port=crawler.settings.get('MYSQL_PORT'),
            db=crawler.settings.get('MYSQL_DB'),
            user=crawler.settings.get('MYSQL_USER'),
            pwd=crawler.settings.get('MYSQL_PWD')
        )

    def open_spider(self, spider):
        """
        钩子函数，spider创建时调用
        :param spider:
        :return:
        """
        spider.logger.info('[%s]：create db connection.' % spider.name)
        self.conn = pymysql.connect(host=self.host, user=self.user, password=self.pwd,
                 database=self.db, port=self.port)
        self.cursor = self.conn.cursor()

    def close_item(self, spider):
        """
        钩子函数，spider关闭时调用
        :param spider:
        :return:
        """
        spider.logger.info('[%s]：close db connection.' % spider.name)
        self.conn.close()

    def process_item(self, item, spider):
        """
        处理函数
        :param spider:
        :return:
        """
        try:
            sql = "insert into result (post_title, post_url)" \
                  "values('%s', '%s');" % (item['title'], item['href'])
            self.cursor.execute(sql)
            self.conn.commit()
            spider.logger.info('[%s]：insert db: %s' % (spider.name, sql))
        except Exception as err:
            self.conn.rollback()
            spider.logger.info('[%s]：insert db error: %s' % (spider.name, err))

此处我们为了更好的创建和释放资源使用了3个钩子函数。

好了，到此为止，我们的爬虫项目便完成了。这里只是简单的描述了下基本的使用方法，方便大家来理解和掌握Python的基本语法，至于更多scrapy模块的使用及后期的部署方法，大家可考考其官方文档和源码