为什么Scrapy爬虫框架这么流行

业界主流Python的爬虫框架有Scrapy，Pyspider（这个是百度一个大佬写的），但是我唯一用的爬虫框架是Scrapy，优点简而言之：简单，易用，各种中间层已经做好规范，异步等不需要自己写，足以应付大部分业务不是很复杂的场景（有时候业务比拿数据难得多，那就只好自己用Requests写了）。同时各种生态比较完善，这里着重介绍几种比较好用的：

1. scrapy-redis:分布式的组件，改下配置文件，Spider改下内容，在redis里设置下start_url，所谓的分布式爬虫就搞定了。scrapy-redis主要解决任务队列分发，确保各个Spider拿到的URL不同就可以了，这就是分布式（当然你要多在几个机器里跑scrapy的爬虫任务）。
2. Splash：渲染引擎。类似于selenium，但是是一个服务化的工具。这个原理是：我们发送请求给这个splash服务，中间定义了很多配置（像渲染延时啊，是否渲染图片等等），splash转出请求，然后把服务器返回的各种文件（html,css,js）渲染，就像用浏览器访问一般，然后再把渲染后的内容返回给用户。这里的优势是我们不用再本机配置selenium的各种内容，只需要在一个服务器上配置好splash，这种服务化的思想现在随处可见，所谓的云服务也是如此。
3. scrapyd+Gerapy:可视化部署和远程控制。Scrapyd 是一个部署和运行scrapy spiders的应用。它可以使用JSON API部署工程并控制spider。Gerapy是一个调用scrapyd的小型控制系统。远程控制爬虫运行，和远程部署还蛮好用的，适用于工作量特别大的场景。

优势总结：根据业务选择工具，避免重复造轮子是比较好的思路。Scrapy的生态在现阶段已经比较完善了，从分布式，再到远程控制，再到渲染引擎等等。这些能极大的减少我们的工作量，还不错不是吗？

Scrapy构架

• scrapy engine:整个爬虫引擎，中间的并发，异步处理等等都由他控制。
• Scheduler：调度器，负责任务调度，其中默认会去重除start_url以外的重复URL（log也有提示的）。
• Spider:主要的爬取规则，爬取域，起始URL，爬取规则一般都在里面定义
• pipeline:管道，负责处理爬虫从网页中抽取的内容，一般都会在这个文件做清洗入库等等操作。
• Downloader Middlewares：下载中间层，处理Scrapy引擎与下载器之间的请求及响应。

其他还有很多小的中间件等等，我就不一一介绍了。

Scrapy文件目录

仔细看看项目模板，其实在Scrapy构架里面就都有这些内容，开发者把整个构架内容抽象化，就成了现在的模板内容，这就是易用性的一种体现吧。

写在最后

最近事情有点多，公司分了个大案子，争取两天一更，下一更：用Scrapy爬一个网站。做技术分享还是很有意思的，感谢大家的关注。