這篇文章給大家分享的是python爬蟲常用的模塊。小編覺得挺實用的，因此分享給大家做個參考。一起跟隨小編過來看看吧。

創新互聯公司長期為上千家客戶提供的網站建設服務，團隊從業經驗10年，關注不同地域、不同群體，并針對不同對象提供差異化的產品和服務；打造開放共贏平臺，與合作伙伴共同營造健康的互聯網生態環境。為萬州企業提供專業的網站設計制作、網站制作，萬州網站改版等技術服務。擁有十多年豐富建站經驗和眾多成功案例,為您定制開發。

Python標準庫——urllib模塊

功能：打開URL和http協議之類

注：python 3.x中urllib庫和urilib2庫合并成了urllib庫。 其中urllib2.urlopen()變成了urllib.request.urlopen()，urllib2.Request()變成了urllib.request.Request()

urllib請求返回網頁

urllib.request.urlopen

urllib.request.open(url[,data,[timeout,[cafile,[capth[,cadefault,[context]]]]]])

urllib.requset.urlioen可以打開HTTP（主要）、HTTPS、FTP、協議的URL

ca 身份驗證

data 以post方式提交URL時使用

url 提交網絡地址（全程 前端需協議名 后端需端口 http:/192.168.1.1:80）

timeout 超時時間設置

函數返回對象有三個額外的方法

geturl() 返回response的url信息

常用與url重定向info()返回response的基本信息

getcode()返回response的狀態代碼

示例：

#coding:utf-8
import urllib.request
import time
import platform


#清屏函數(無關緊要 可以不寫)
def clear():
    print(u"內容過多 3秒后清屏")
    time.sleep(3)
    OS = platform.system()
    if (OS == u'Windows'):
        os.system('cls')
    else:
        os.system('clear')
#訪問函數
def linkbaidu():
    url = 'http://www.baidu.com'
    try:
        response = urllib.request.urlopen(url,timeout=3)
    except urllib.URLError:
        print(u'網絡地址錯誤')
        exit()
    with open('/home/ifeng/PycharmProjects/pachong/study/baidu.txt','w') as fp:
        response = urllib.request.urlopen(url,timeout=3)
        fp.write(response.read())
    print(u'獲取url信息，response.geturl()\n:%s'%response.getrul())
    print(u'獲取返回代碼，response.getcode()\n:%s' % response.getcode())
    print(u'獲取返回信息，response.info()\n:%s' % response.info())
    print(u"獲取的網頁信息經存與baidu.txt")


if __name__ =='main':
    linkbaidu()

Python標準庫–logging模塊

logging模塊能夠代替print函數的功能，將標準輸出到日志文件保存起來，利用loggin模塊可以部分替代debug

re模塊

正則表達式

sys模塊

系統相關模塊

sys.argv(返回一個列表，包含所有的命令行)

sys.exit(退出程序)

Scrapy框架

urllib和re配合使用已經太落后，現在主流的是Scrapy框架

關于python爬蟲常用的模塊就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。

本文名稱：python爬蟲常用模塊有哪些
標題網址：http://vcdvsql.cn/article20/jhigco.html

成都網站建設公司_創新互聯，為您提供做網站、網站策劃、網站建設、定制開發、品牌網站設計、全網營銷推廣

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯