這篇文章主要介紹了python爬蟲中requests和selenium有什么區別，具有一定借鑒價值，需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著大家一起了解一下。

創新互聯專業為企業提供仁布網站建設、仁布做網站、仁布網站設計、仁布網站制作等企業網站建設、網頁設計與制作、仁布企業網站模板建站服務，十年仁布做網站經驗，不只是建網站，更提供有價值的思路和整體網絡服務。

requests代碼：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
 
import requests
 
r = requests.get('https://api.github.com', auth=('user', 'pass'))
 
print r.status_code
print r.headers['content-type']

requests代碼部分簡單易懂。

selenium它是用于自動化Web應用程序的測試目的，但肯定不僅限于此。

對于一般網站來說scrapy、requests、beautifulsoup等都可以爬取，但是有些信息需要執行js才能顯現，而且你肉眼所能看到的基本都能爬取下來，在學習中遇到了，就記錄下來方便以后查看。

webdrive是selenium中一個函數：

from selenium import webdriver
driver = webdriver.Chrome()
driver.get('網址')

其中PhantomJS同時可以換成Chrome、Firefox、Ie等等，但是PhantomJS是一個無頭的瀏覽器，運行是不會跳出相應的瀏覽器，運行相對效率較高。在調試中可以先換成Chrome，方便調試，最后再換成PhantomJS即可。

說一說 Selenium 的缺點：

1、速度慢。每次運行爬蟲都打開一個瀏覽器，如果沒有設置，還會加載圖片、JS等等一大堆東西；

2、占用資源太多。有人說，把Chrome換成無頭瀏覽器PhantomJS，原理都是一樣的，都是打開瀏覽器，而且很多網站會驗證參數，如果對方看到你是以PhantomJS去訪問，會BAN掉你的請求，然后你又要考慮更換請求頭的事情，事情復雜程度不知道多了多少，為啥學Python？因為Python簡單啊，如果有更快、更簡單的庫可以實現同樣的功能，為什么不去使用呢？

3、對網絡的要求會更高。 Selenium 加載了很多可能對您沒有價值的補充文件（如css，js和圖像文件）。 與僅僅請求您真正需要的資源（使用單獨的HTTP請求）相比，這可能會產生更多的流量。

4、爬取規模不能太大。

5、難。學習Selenium的成本太高，

通過比較我們可以看出，requests在代碼方面簡潔而且操作難度不大，相信很多小伙伴已經上手requests，而selenium的不足之處比較多，所以不推薦大家用來爬取數據。

感謝你能夠認真閱讀完這篇文章，希望小編分享python爬蟲中requests和selenium有什么區別內容對大家有幫助，同時也希望大家多多支持創新互聯，關注創新互聯行業資訊頻道，遇到問題就找創新互聯，詳細的解決方法等著你來學習!

標題名稱：python爬蟲中requests和selenium有什么區別
文章分享：http://vcdvsql.cn/article46/iijheg.html

成都網站建設公司_創新互聯，為您提供面包屑導航、網頁設計公司、定制網站、網站設計公司、響應式網站、網站策劃

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯