Scrapy框架的工作原理是什么?

更新时间:2020-09-30 来源:黑马程序员浏览量:

Scrapy框架的工作原理是什么?

Scrapy架构

学习Scrapy框架，从理解它的架构开始。图1所示是Scrapy的架构图。

从图1可知，Scrapy框架主要包含以下组件：

(1)Scrapy Engine(引擎)：负责Spider、Item Pipeline、Downloader、Scheduler之间的通讯，包括信号和数据的传递等。

(2)Scheduler(调度器)：负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列和入队，当引擎需要时，交还给引擎。

(3)Downloader(下载器)：负责下载Scrapy Engine(引擎)发送的所有Requests(请求)，并将其获取到的Responses(响应)交还给Scrapy Engine(引擎)，由引擎交给Spider来处理。

(4)Spiders(爬虫)：负责处理所有Responses，从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)。

(5)Item Pipeline(管道)：负责处理Spiders中获取到的Item数据，并进行后期处理(详细分析、过滤、存储等)。

(6)Downloader Middlewares(下载中间件)：是一个可以自定义扩展下载功能的组件。

(7)Spider Middlewares(Spider中间件)：是一个可以自定义扩展Scrapy Engine和Spiders中间通信的功能组件(比如进入Spiders的Responses和从Spiders出去的Requests)。

Scrapy的这些组件通力合作，共同完成整个爬取任务。架构图中的箭头是数据的流动方向，首先从初始URL开始，Scheduler会将其交给Downloader进行下载，下载之后会交给Spider进行分析，Spider分析出来的结果有两种：一种是需要进一步抓取的链接，例如之前分析的“下一页”的链接，这些东西会被传回Scheduler;另一种是需要保存的数据，它们则被送到Item Pipeline那里，那是对数据进行后期处理(详细分析、过滤、存储等)的地方。另外，在数据流动的通道里还可以安装各种中间件，进行必要的处理。

Scrapy框架的运作流程

Scrapy的运作流程由引擎控制，其过程如下所示：

(1)引擎向Spider请求第一个要爬取的URL(s)。

(2)引擎从Spider中获取到第一个要爬取的URL，封装成Request并交给调度器。

(3)引擎向调度器请求下一个要爬取的Request。

(4)调度器返回下一个要爬取的Request给引擎，引擎将Request通过下载中间件转发给下载器。

(5)一旦页面下载完毕，下载器生成一个该页面的Response，并将其通过下载中间件发送给引擎。

(6)引擎从下载器中接收到Response并通过Spider中间件发送给Spider处理。

(7)Spider处理Response并返回爬取到的Item及新的Request给引擎。

(8)引擎将爬取到的Item给Item Pipeline，将Request给调度器。

(9)从(2)开始重复，直到调度器中没有更多的Request。

多学一招：Scrapy拟人小剧场