創(chuàng)新互聯(lián)www.cdcxhl.cn八線動(dòng)態(tài)BGP香港云服務(wù)器提供商，新人活動(dòng)買多久送多久，劃算不套路！

讓客戶滿意是我們工作的目標(biāo)，不斷超越客戶的期望值來(lái)自于我們對(duì)這個(gè)行業(yè)的熱愛(ài)。我們立志把好的技術(shù)通過(guò)有效、簡(jiǎn)單的方式提供給客戶，將通過(guò)不懈努力成為客戶在信息化領(lǐng)域值得信任、有價(jià)值的長(zhǎng)期合作伙伴，公司提供的服務(wù)項(xiàng)目有：主機(jī)域名、雅安服務(wù)器托管、營(yíng)銷軟件、網(wǎng)站建設(shè)、新平網(wǎng)站維護(hù)、網(wǎng)站推廣。

Python2爬蟲使用Cookie的方法？這個(gè)問(wèn)題可能是我們?nèi)粘W(xué)習(xí)或工作經(jīng)常見(jiàn)到的。希望通過(guò)這個(gè)問(wèn)題能讓你收獲頗深。下面是小編給大家?guī)?lái)的參考內(nèi)容，讓我們一起來(lái)看看吧！

大家好哈，上一節(jié)我們研究了一下爬蟲的異常處理問(wèn)題，那么接下來(lái)我們一起來(lái)看一下Cookie的使用。

為什么要使用Cookie呢？

Cookie，指某些網(wǎng)站為了辨別用戶身份、進(jìn)行session跟蹤而儲(chǔ)存在用戶本地終端上的數(shù)據(jù)（通常經(jīng)過(guò)加密）

比如說(shuō)有些網(wǎng)站需要登錄后才能訪問(wèn)某個(gè)頁(yè)面，在登錄之前，你想抓取某個(gè)頁(yè)面內(nèi)容是不允許的。那么我們可以利用Urllib2庫(kù)保存我們登錄的Cookie，然后再抓取其他頁(yè)面就達(dá)到目的了。

在此之前呢，我們必須先介紹一個(gè)opener的概念。

1.Opener

當(dāng)你獲取一個(gè)URL你使用一個(gè)opener(一個(gè)urllib2.OpenerDirector的實(shí)例)。在前面，我們都是使用的默認(rèn)的opener，也就是urlopen。它是一個(gè)特殊的opener，可以理解成opener的一個(gè)特殊實(shí)例，傳入的參數(shù)僅僅是url，data，timeout。

如果我們需要用到Cookie，只用這個(gè)opener是不能達(dá)到目的的，所以我們需要?jiǎng)?chuàng)建更一般的opener來(lái)實(shí)現(xiàn)對(duì)Cookie的設(shè)置。

2.Cookielib

cookielib模塊的主要作用是提供可存儲(chǔ)cookie的對(duì)象，以便于與urllib2模塊配合使用來(lái)訪問(wèn)Internet資源。Cookielib模塊非常強(qiáng)大，我們可以利用本模塊的CookieJar類的對(duì)象來(lái)捕獲cookie并在后續(xù)連接請(qǐng)求時(shí)重新發(fā)送，比如可以實(shí)現(xiàn)模擬登錄功能。該模塊主要的對(duì)象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。

它們的關(guān)系：CookieJar —-派生—->FileCookieJar  —-派生—–>MozillaCookieJar和LWPCookieJar

1）獲取Cookie保存到變量

首先，我們先利用CookieJar對(duì)象實(shí)現(xiàn)獲取cookie的功能，存儲(chǔ)到變量中，先來(lái)感受一下。

import urllib2
import cookielib
#聲明一個(gè)CookieJar對(duì)象實(shí)例來(lái)保存cookie
cookie = cookielib.CookieJar()
#利用urllib2庫(kù)的HTTPCookieProcessor對(duì)象來(lái)創(chuàng)建cookie處理器
handler=urllib2.HTTPCookieProcessor(cookie)
#通過(guò)handler來(lái)構(gòu)建opener
opener = urllib2.build_opener(handler)
#此處的open方法同urllib2的urlopen方法，也可以傳入request
response = opener.open('http://www.baidu.com')
for item in cookie:
    print 'Name = '+item.name
    print 'Value = '+item.value

我們使用以上方法將cookie保存到變量中，然后打印出了cookie中的值，運(yùn)行結(jié)果如下：

Name = BAIDUID
Value = B07B663B645729F11F659C02AAE65B4C:FG=1
Name = BAIDUPSID
Value = B07B663B645729F11F659C02AAE65B4C
Name = H_PS_PSSID
Value = 12527_11076_1438_10633
Name = BDSVRTM
Value = 0
Name = BD_HOME
Value = 0

2）保存Cookie到文件

在上面的方法中，我們將cookie保存到了cookie這個(gè)變量中，如果我們想將cookie保存到文件中該怎么做呢？這時(shí)，我們就要用到

FileCookieJar這個(gè)對(duì)象了，在這里我們使用它的子類MozillaCookieJar來(lái)實(shí)現(xiàn)Cookie的保存

import cookielib
import urllib2
#設(shè)置保存cookie的文件，同級(jí)目錄下的cookie.txt
filename = 'cookie.txt'
#聲明一個(gè)MozillaCookieJar對(duì)象實(shí)例來(lái)保存cookie，之后寫入文件
cookie = cookielib.MozillaCookieJar(filename)
#利用urllib2庫(kù)的HTTPCookieProcessor對(duì)象來(lái)創(chuàng)建cookie處理器
handler = urllib2.HTTPCookieProcessor(cookie)
#通過(guò)handler來(lái)構(gòu)建opener
opener = urllib2.build_opener(handler)
#創(chuàng)建一個(gè)請(qǐng)求，原理同urllib2的urlopen
response = opener.open("http://www.baidu.com")
#保存cookie到文件
cookie.save(ignore_discard=True, ignore_expires=True)

關(guān)于最后save方法的兩個(gè)參數(shù)在此說(shuō)明一下：

官方解釋如下：

ignore_discard: save even cookies set to be discarded. 
ignore_expires: save even cookies that have expiredThe file is overwritten if it already exists

由此可見(jiàn)，ignore_discard的意思是即使cookies將被丟棄也將它保存下來(lái)，ignore_expires的意思是如果在該文件中cookies已經(jīng)存在，則覆蓋原文件寫入，在這里，我們將這兩個(gè)全部設(shè)置為True。運(yùn)行之后，cookies將被保存到cookie.txt文件中，我們查看一下內(nèi)容，附圖如下：

3）從文件中獲取Cookie并訪問(wèn)

那么我們已經(jīng)做到把Cookie保存到文件中了，如果以后想使用，可以利用下面的方法來(lái)讀取cookie并訪問(wèn)網(wǎng)站，感受一下

import cookielib
import urllib2
#創(chuàng)建MozillaCookieJar實(shí)例對(duì)象
cookie = cookielib.MozillaCookieJar()
#從文件中讀取cookie內(nèi)容到變量
cookie.load('cookie.txt', ignore_discard=True, ignore_expires=True)
#創(chuàng)建請(qǐng)求的request
req = urllib2.Request("http://www.baidu.com")
#利用urllib2的build_opener方法創(chuàng)建一個(gè)opener
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
response = opener.open(req)
print response.read()

設(shè)想，如果我們的 cookie.txt 文件中保存的是某個(gè)人登錄百度的cookie，那么我們提取出這個(gè)cookie文件內(nèi)容，就可以用以上方法模擬這個(gè)人的賬號(hào)登錄百度。

4）利用cookie模擬網(wǎng)站登錄

下面我們以我們學(xué)校的教育系統(tǒng)為例，利用cookie實(shí)現(xiàn)模擬登錄，并將cookie信息保存到文本文件中，來(lái)感受一下cookie大法吧！

注意：密碼我改了啊，別偷偷登錄本宮的選課系統(tǒng) o(╯□╰)o

import urllib
import urllib2
import cookielib
filename = 'cookie.txt'
#聲明一個(gè)MozillaCookieJar對(duì)象實(shí)例來(lái)保存cookie，之后寫入文件
cookie = cookielib.MozillaCookieJar(filename)
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
postdata = urllib.urlencode({
'stuid':'201200131012',
'pwd':'23342321'
})
#登錄教務(wù)系統(tǒng)的URL
loginUrl = 'http://jwxt.sdu.edu.cn:7890/pls/wwwbks/bks_login2.login'
#模擬登錄，并把cookie保存到變量
result = opener.open(loginUrl,postdata)
#保存cookie到cookie.txt中
cookie.save(ignore_discard=True, ignore_expires=True)
#利用cookie請(qǐng)求訪問(wèn)另一個(gè)網(wǎng)址，此網(wǎng)址是成績(jī)查詢網(wǎng)址
gradeUrl = 'http://jwxt.sdu.edu.cn:7890/pls/wwwbks/bkscjcx.curscopre'
#請(qǐng)求訪問(wèn)成績(jī)查詢網(wǎng)址
result = opener.open(gradeUrl)
print result.read()

以上程序的原理如下：

創(chuàng)建一個(gè)帶有cookie的opener，在訪問(wèn)登錄的URL時(shí)，將登錄后的cookie保存下來(lái)，然后利用這個(gè)cookie來(lái)訪問(wèn)其他網(wǎng)址。

如登錄之后才能查看的成績(jī)查詢呀，本學(xué)期課表呀等等網(wǎng)址，模擬登錄就這么實(shí)現(xiàn)啦，是不是很酷炫？

感謝各位的閱讀！看完上述內(nèi)容，你們對(duì)Python2爬蟲使用Cookie的方法大概了解了嗎？希望文章內(nèi)容對(duì)大家有所幫助。如果想了解更多相關(guān)文章內(nèi)容，歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道。

網(wǎng)頁(yè)題目：Python2爬蟲使用Cookie的方法-創(chuàng)新互聯(lián)
網(wǎng)站鏈接：http://vcdvsql.cn/article18/csecdp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供營(yíng)銷型網(wǎng)站建設(shè)、服務(wù)器托管、網(wǎng)站建設(shè)、ChatGPT、App開發(fā)、面包屑導(dǎo)航

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)