本篇文章給大家分享的是有關Scrapy是什么框架，有什么用，小編覺得挺實用的，因此分享給大家學習，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

網站建設哪家好，找成都創新互聯公司！專注于網頁設計、網站建設、微信開發、微信小程序、集團企業網站建設等服務項目。為回饋新老客戶創新互聯還提供了埇橋區免費建站歡迎大家使用！

網絡爬蟲（Web crawler），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本，它們被廣泛用于互聯網搜索引擎或其他類似網站，可以自動采集所有其能夠訪問到的頁面，以獲取這些網站的內容。而Scrapy則是一種十分強大的爬蟲框架，并且它是用python編寫的。下面我們來一起看看什么是Scrapy?

一、所需知識

需要的知識有：linux系統 + Python語言 +Scrapy框架 + XPath（XML路徑語言） + 一些輔助工具（瀏覽器的開發者工具和XPath helper插件）。

我們的爬蟲是使用Python語言的Scrapy爬蟲框架開發，在linux上運行，所以需要熟練掌握Python語言和Scrapy框架以及linux操作系統的基本知識。

我們需要使用XPath從目標HTML頁面中提取我們想要的東西，包括漢語文字段落和“下一頁”的鏈接等。

瀏覽器的開發者工具是編寫爬蟲主要使用的輔助工具。使用該工具可以分析頁面鏈接的規律，可以用來定位HTML頁面中想要提取的元素，然后提取其XPath表達式用于爬蟲代碼中，還可以查看頁面請求頭的Referer、Cookie等信息。如果爬取的目標是動態網站，該工具還可以分析出背后的JavaScript請求。

XPath helper插件是chrome的一個插件，基于chrome核的瀏覽器也可以安裝。XPath helper可以用來調試XPath表達式。

二、環境搭建

安裝Scrapy可以使用pip命令：pip install Scrapy

Scrapy相關依賴較多，因此在安裝過程中可能遇到如下問題：

ImportError: No module named w3lib.http

解決：pip install w3lib

ImportError: No module named twisted

解決：pip install twisted

ImportError: No module named lxml.HTML

解決：pip install lxml

error: libxml/xmlversion.h: No such file or directory

解決：apt-get install libxml2-dev libxslt-dev

apt-get install Python-lxml

ImportError: No module named cssselect

解決：pip install cssselect

ImportError: No module named OpenSSL

解決：pip install pyOpenSSL

建議：

使用簡單的方法：使用anaconda安裝。

三、Scrapy框架

1. Scrapy簡介

Scrapy是大名鼎鼎的爬蟲框架，是使用Python編寫的。Scrapy可以很方便的進行web抓取，并且也可以很方便的根據自己的需求進行定制。

2.Scrapy組件

Scrapy主要包括了以下組件：

引擎(Scrapy)

用來處理整個系統的數據流,觸發事務(框架核心)。

調度器(Scheduler)

用來接受引擎發過來的請求,壓入隊列中, 并在引擎再次請求的時候返回. 可以想像成一個URL（抓取網頁的網址或者說是鏈接）的優先隊列, 由它來決定下一個要抓取的網址是什么, 同時去除重復的網址。

下載器(Downloader)

用于下載網頁內容, 并將網頁內容返回給蜘蛛(Scrapy下載器是建立在twisted這個高效的異步模型上的) 。

爬蟲(Spiders)

爬蟲是主要干活的, 用于從特定的網頁中提取自己需要的信息, 即所謂的實體(Item)。用戶也可以從中提取出鏈接,讓Scrapy繼續抓取下一個頁面。

項目管道(Pipeline)

負責處理爬蟲從網頁中抽取的實體，主要的功能是持久化實體、驗證實體的有效性、清除不需要的信息。當頁面被爬蟲解析后，將被發送到項目管道，并經過幾個特定的次序處理數據。

下載器中間件(Downloader Middlewares)

位于Scrapy引擎和下載器之間的框架，主要是處理Scrapy引擎與下載器之間的請求及響應。

爬蟲中間件(Spider Middlewares)

介于Scrapy引擎和爬蟲之間的框架，主要工作是處理蜘蛛的響應輸入和請求輸出。

調度中間件(Scheduler Middewares)

介于Scrapy引擎和調度之間的中間件，從Scrapy引擎發送到調度的請求和響應。

Scrapy運行流程：

1.引擎從調度器中取出一個鏈接(URL)用于接下來的抓取

2.引擎把URL封裝成一個請求(Request)傳給下載器

3.下載器把資源下載下來，并封裝成應答包(Response)

4.爬蟲解析Response

5.解析出實體（Item）,則交給實體管道進行進一步的處理

6.解析出的是鏈接（URL）,則把URL交給調度器等待抓取

以上就是Scrapy是什么框架，有什么用，小編相信有部分知識點可能是我們日常工作會見到或用到的。希望你能通過這篇文章學到更多知識。更多詳情敬請關注創新互聯行業資訊頻道。

新聞名稱：Scrapy是什么框架，有什么用
標題網址：http://vcdvsql.cn/article48/pdheep.html

成都網站建設公司_創新互聯，為您提供網站策劃、電子商務、App開發、網站營銷、網站設計公司、網站排名

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯