創新互聯www.cdcxhl.cn八線動態BGP香港云服務器提供商，新人活動買多久送多久，劃算不套路！

成都創新互聯公司主營羅莊網站建設的網絡公司,主營網站建設方案,App定制開發,羅莊h5微信平臺小程序開發搭建,羅莊網站營銷推廣歡迎羅莊等地區企業咨詢

這篇文章將為大家詳細講解有關python抓取網頁亂碼的解決方法，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

在使用python爬取網頁時，經常會遇到亂碼問題，一旦遇到亂碼問題，就很難得到有用的信息。本人遇到亂碼問題，一般有以下幾個方式：

1、查看網頁源碼中的head標簽，找到編碼方式，例如：

在上圖中，可以看到charset='utf-8',說明這個網頁很大可能是采用‘UTF-8’編碼（是很大可能，但不是百分之百），因此可以試試這個編碼方式：

result = response.content.decode('utf-8')

這種方式得到的內容基本上就不會亂碼。

2、如果上述的方式沒有任何作用，頁面依然亂碼；或者在head標簽下并沒有找到charset屬性；或者我們要采集很多網頁的信息，而且這些網頁的編碼方式不盡相同，我們不可能做到一個一個網頁的去查看head標簽，那么可以采用下面的方式解決亂碼。

（1）python的chardet庫

可以使用下面的方式解決亂碼問題

result = chardet.detect(response.content)
print(result)
data = response.content.decode(chardet.detect(response.content)['encoding'])
{'confidence': 0.99, 'language': '', 'encoding': 'utf-8'}

從輸出結果可以看出這是“猜測”編碼，猜測的方式是先收集各種編碼的特征字符，根據特征字符判斷，就能有很大概率“猜對”。

這種方法的效率很低，如果采集的網頁很大，可以只猜測其中一段的源碼，即

result = chardet.detect(response.content[:1000])

（2）response的編碼

也可以使用另一種方法，即response自有的encoding,apparent_encoding這兩個變量。

response.encoding一般是從response.headers中content-type字段中的charset的值，其它情況我也不是很了解。

response.apparent_encoding 一般是采用上述的python的chardet庫這種方法。

因此可以用下面的方式解決亂碼問題

data = response.content.decode(response.apparent_encoding)

3、一般情況下，上述兩個方法可以解決亂碼問題。但是如果上述兩個方式不能解決，那有可能是網頁的壓縮導致的。這種問題用下面的方法解決。

檢查一下你寫的頭信息是不是包含了Accept-Encoding這個字段，如果有，請刪除這個字段，亂碼問題就會得到解決。

headers = {
    'Accept-Encoding': 'gzip, deflate, sdch',
    'Accept-Language': 'zh-CN,zh;q=0.8',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) 
    Chrome/49.0.2623.221 
    Safari/537.36 SE 2.X MetaSr 1.0',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
    'Connection': 'keep-alive',
}

關于python抓取網頁亂碼的解決方法就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。

本文標題：python抓取網頁亂碼的解決方法-創新互聯
網站地址：http://vcdvsql.cn/article44/hoeee.html

成都網站建設公司_創新互聯，為您提供關鍵詞優化、網站策劃、手機網站建設、外貿建站、網站設計、App設計

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯