1、判斷請(qǐng)求頭來進(jìn)行反爬

創(chuàng)新互聯(lián)建站主營(yíng)木壘哈薩克網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營(yíng)網(wǎng)站建設(shè)方案,成都app軟件開發(fā)公司,木壘哈薩克h5重慶小程序開發(fā)搭建,木壘哈薩克網(wǎng)站營(yíng)銷推廣歡迎木壘哈薩克等地區(qū)企業(yè)咨詢

這是很早期的網(wǎng)站進(jìn)行的反爬方式

User-Agent 用戶代理
referer 請(qǐng)求來自哪里
cookie 也可以用來做訪問憑證
解決辦法：請(qǐng)求頭里面添加對(duì)應(yīng)的參數(shù)（復(fù)制瀏覽器里面的數(shù)據(jù)）

2、根據(jù)用戶行為來進(jìn)行反爬

請(qǐng)求頻率過高，服務(wù)器設(shè)置規(guī)定時(shí)間之內(nèi)的請(qǐng)求閾值
解決辦法：降低請(qǐng)求頻率或者使用代理（IP代理）
網(wǎng)頁(yè)中設(shè)置一些陷阱（正常用戶訪問不到但是爬蟲可以訪問到）
解決辦法：分析網(wǎng)頁(yè)，避開這些特殊陷阱
請(qǐng)求間隔太短，返回相同的數(shù)據(jù)
解決辦法：增加請(qǐng)求間隔

3、js加密

反爬方式中較為難處理的一類。
js加密的原理：服務(wù)器響應(yīng)給瀏覽器的js文件，可以動(dòng)態(tài)的生成一些加密參數(shù)，瀏覽器會(huì)根據(jù)js的計(jì)算 得到這些參數(shù)，在請(qǐng)求中帶入進(jìn)來，如果請(qǐng)求中沒有這些參數(shù)，那么服務(wù)器就任務(wù)請(qǐng)求無效。

4、字體加密

字體反爬，是一種常見的反爬技術(shù)，網(wǎng)站采用了自定義的字體文件，在瀏覽器上正常顯示，但是爬蟲抓取下來的數(shù)據(jù)要么就是亂碼，要么就是變成其他字符。采用自定義字體文件是CSS3的新特性，熟悉前端的同學(xué)可能知道，就是font-face屬性。

5、登錄驗(yàn)證碼

使用Python爬取網(wǎng)頁(yè)內(nèi)容時(shí)往往會(huì)遇到使用驗(yàn)證碼登陸才能訪問其網(wǎng)站，不同網(wǎng)站的使用的驗(yàn)證碼也不同，在最開始使用簡(jiǎn)單驗(yàn)證碼，識(shí)別數(shù)字，但是隨著反爬的不斷發(fā)展，慢慢設(shè)計(jì)出了更多復(fù)雜的驗(yàn)證碼，比如：內(nèi)容驗(yàn)證碼、滑動(dòng)驗(yàn)證碼、圖片拼接驗(yàn)證碼等等。
網(wǎng)上有很多打碼平臺(tái)，通過注冊(cè)賬號(hào)，調(diào)用平臺(tái)接口，進(jìn)行驗(yàn)證碼的驗(yàn)證。

6、md5相關(guān)知識(shí)

MD5，消息摘要算法，一種被廣泛使用的密碼散列函數(shù)，可以產(chǎn)生出一個(gè)128位（16字節(jié)）的散列值（hash value），用于確保信息傳輸完整一致。MD5是最常見的摘要算法，速度很快，生成結(jié)果是固定的128 bit字節(jié)，通常用一個(gè)32位的16進(jìn)制字符串表示。MD5的特點(diǎn)：
1.不可逆：不能從密文推導(dǎo)出明文。
2.不管明文長(zhǎng)度為多少，密文的長(zhǎng)度都固定。
3.密文之間不會(huì)重復(fù)。

import hashlib
print(hashlib.md5('python'.encode()).hexdigest())

本文名稱：python常見的反爬蟲策略-創(chuàng)新互聯(lián)
地址分享：http://vcdvsql.cn/article46/ppghg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供關(guān)鍵詞優(yōu)化、小程序開發(fā)、微信公眾號(hào)、網(wǎng)站排名、外貿(mào)建站、企業(yè)網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)