首页技术文章正文

Scrapy框架的工作原理是什么?

更新时间:2020-09-30 来源:黑马程序员 浏览量:

Scrapy框架的工作原理是什么?

Scrapy架构

学习Scrapy框架,从理解它的架构开始。图1所示是Scrapy的架构图。

1601448357608_Scrapy.jpg

从图1可知,Scrapy框架主要包含以下组件:

(1)Scrapy Engine(引擎):负责Spider、Item Pipeline、Downloader、Scheduler之间的通讯,包括信号和数据的传递等。

(2)Scheduler(调度器):负责接受引擎发送过来的Request请求,并按照一定的方式进行整理排列和入队,当引擎需要时,交还给引擎。

(3)Downloader(下载器):负责下载Scrapy Engine(引擎)发送的所有Requests(请求),并将其获取到的Responses(响应)交还给Scrapy Engine(引擎),由引擎交给Spider来处理。

(4)Spiders(爬虫):负责处理所有Responses,从中分析提取数据,获取Item字段需要的数据,并将需要跟进的URL提交给引擎,再次进入Scheduler(调度器)。

(5)Item Pipeline(管道):负责处理Spiders中获取到的Item数据,并进行后期处理(详细分析、过滤、存储等)。

(6)Downloader Middlewares(下载中间件):是一个可以自定义扩展下载功能的组件。

(7)Spider Middlewares(Spider中间件):是一个可以自定义扩展Scrapy Engine和Spiders中间通信的功能组件(比如进入Spiders的Responses和从Spiders出去的Requests)。

Scrapy的这些组件通力合作,共同完成整个爬取任务。架构图中的箭头是数据的流动方向,首先从初始URL开始,Scheduler会将其交给Downloader进行下载,下载之后会交给Spider进行分析,Spider分析出来的结果有两种:一种是需要进一步抓取的链接,例如之前分析的“下一页”的链接,这些东西会被传回Scheduler;另一种是需要保存的数据,它们则被送到Item Pipeline那里,那是对数据进行后期处理(详细分析、过滤、存储等)的地方。另外,在数据流动的通道里还可以安装各种中间件,进行必要的处理。

Scrapy框架的运作流程

Scrapy的运作流程由引擎控制,其过程如下所示:

(1)引擎向Spider请求第一个要爬取的URL(s)。

(2)引擎从Spider中获取到第一个要爬取的URL,封装成Request并交给调度器。

(3)引擎向调度器请求下一个要爬取的Request。

(4)调度器返回下一个要爬取的Request给引擎,引擎将Request通过下载中间件转发给下载器。

(5)一旦页面下载完毕,下载器生成一个该页面的Response,并将其通过下载中间件发送给引擎。

(6)引擎从下载器中接收到Response并通过Spider中间件发送给Spider处理。

(7)Spider处理Response并返回爬取到的Item及新的Request给引擎。

(8)引擎将爬取到的Item给Item Pipeline,将Request给调度器。

(9)从(2)开始重复,直到调度器中没有更多的Request。

多学一招:Scrapy拟人小剧场

为了帮助大家更好地理解Scrapy的一次完整运行流程,我们可以把Scrapy的运作流程用拟人小剧场的方式进行表现,如下所示:

(1)引擎:Hi!Spider,你要处理哪一个网站?

(2)Spider:老大要我处理xxxx.com。

(3)引擎:你把第一个需要处理的URL给我吧。

(4)Spider:给你,第一个URL是xxxxxxx.com。

(5)引擎:Hi!调度器,我这有Request请求,你帮我排序入队一下。

(6)调度器:好的,正在处理,你等一下。

(7)引擎:Hi!调度器,把你处理好的Request请求给我。

(8)调度器:给你,这是我处理好的Request。

(9)引擎:Hi!下载器,你按照老大的下载中间件的设置帮我下载一下这个Request请求。

(10)下载器:好的!给你,这是下载好的东西。(如果失败:Sorry,这个Request下载失败了。然后引擎告诉调度器,这个Request下载失败了,你记录一下,我们待会儿再下载)。

(11)引擎:Hi!Spider,这是下载好的东西,并且已经按照老大的下载中间件处理过了,你自己处理一下(注意!这儿Responses默认是交给def parse()这个函数处理的)。

(12)Spider:(处理完毕数据之后对于需要跟进的URL),Hi!引擎,我这里有两个结果,这个是我需要跟进的URL,还有这个是我获取到的Item数据。

(13)引擎:Hi !管道,我这儿有个item你帮我处理一下!调度器!这是需要跟进的URL你帮我处理下。

(14)管道,调度器:好的,现在就做!

然后从(4)开始循环,直到获取完老大需要的全部信息。

猜你喜

多线程爬虫是什么?多线程爬虫流程分析 

Python爬虫可以做什么?

Python培训课程 



分享到:
在线咨询 我要报名
和我们在线交谈!