CrawlSpider

創新互聯公司專注于牡丹網站建設服務及定制，我們擁有豐富的企業做網站經驗。 熱誠為您提供牡丹營銷型網站建設，牡丹網站制作、牡丹網頁設計、牡丹網站官網定制、微信小程序服務，打造牡丹網絡公司原創品牌,更為您提供牡丹網站排名全網營銷落地服務。

• 作用：用于進行全站數據爬取
• CrawlSpider就是Spider的一個子類
• 如何新建一個基于CrawlSpider的爬蟲文件
  • scrapy genspider -t crawl xxx www.xxx.com
• 例：choutiPro

LinkExtractor連接提取器：根據指定規則（正則）進行連接的提取

Rule規則解析器：將連接提取器提取到的連接進行請求發送，然后對獲取的頁面進行指定規則【callback】的解析

一個鏈接提取器對應唯一一個規則解析器

例：crawlspider深度（全棧）爬取【sunlinecrawl例】

分布式（通常用不到，爬取數據量級巨大、時間少時用分布式）

概念：可將一組程序執行在多態機器上（分布式機群），使其進行數據的分布爬取

原生的scrapy框架是否可以實現分布式？

不能

抽屜

# spider文件

import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule

class ChoutiSpider(CrawlSpider):
  name = 'chouti'
  # allowed_domains = ['www.xxx.com']
  start_urls = ['https://dig.chouti.com/1']

  # 連接提取器：從起始url對應的頁面中提取符合規則的所有連接；allow=正則表達式
  # 正則為空的話，提取頁面中所有連接
  link = LinkExtractor(allow=r'\d+')
  rules = (
    # 規則解析器:將連接提取器提取到的連接對應的頁面源碼進行指定規則的解析
    # Rule自動發送對應鏈接的請求
    Rule(link, callback='parse_item', follow=True),
    # follow：True 將連接提取器 繼續 作用到 連接提取器提取出來的連接 對應的頁面源碼中
  )
  def parse_item(self, response):
    item = {}
    #item['domain_id'] = response.xpath('//input[@id="sid"]/@value').get()
    #item['name'] = response.xpath('//div[@id="name"]').get()
    #item['description'] = response.xpath('//div[@id="description"]').get()
    return item

另外有需要云服務器可以了解下創新互聯scvps.cn，海內外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業上云的綜合解決方案，具有“安全穩定、簡單易用、服務可用性高、性價比高”等特點與優勢，專為企業上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

名稱欄目：python網絡爬蟲CrawlSpider使用詳解-創新互聯
本文路徑：http://vcdvsql.cn/article26/dsddjg.html

成都網站建設公司_創新互聯，為您提供外貿建站、關鍵詞優化、動態網站、用戶體驗、域名注冊、企業建站

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯