python中urllib庫如何使用，針對這個問題，這篇文章詳細介紹了相對應的分析和解答，希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。

成都創(chuàng)新互聯(lián)公司堅持“要么做到，要么別承諾”的工作理念，服務領域包括：成都網站建設、做網站、企業(yè)官網、英文網站、手機端網站、網站推廣等服務，滿足客戶于互聯(lián)網時代的陽江網站設計、移動媒體設計的需求，幫助企業(yè)找到有效的互聯(lián)網解決方案。努力成為您成熟可靠的網絡建設合作伙伴！

urllib庫用于爬取網絡數(shù)據(jù)

urllib包含如下四個模塊：

urllib.request 用于發(fā)起網絡請求

urllib.parse 用于操作url

urllib.errer 用于處理網絡請求錯誤

urllib.robotparser 用于解析網站robots.txt文件

爬取51job網站 工作案例

import urllib.request
import user_agent       # 用于生成User-Agent
import re 
import lxml.etree as le     # 用xpath 匹配數(shù)據(jù)
import tool
import pandas as pd 

keywords = input('keywords>')
page = input('page>')
data_best = []
header = {'User-Agent':user_agent.get_user_agent_pc()}
request = urllib.request.Request(                 #構造請求頭
	url='https://search.51job.com/list/170200,000000,0000,00,9,99,{keywords},2,{page}.html?lang=c&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0&line=&welfare='.format(keywords=keywords,page=page),
        headers=header
)

response = urllib.request.urlopen(request)

pattern = 'window.__SEARCH_RESULT__ =(.*?)</script'
search_value = re.findall(pattern,response.read().decode('gbk'))
datas = eval(search_value[0])["engine_search_result"]

for data in datas:
	temp_data = {}
	temp_data['job_name'] = data['job_name']
	temp_data['company_name']=data['company_name']
	temp_data['providesalary_text']=data['providesalary_text']
	temp_data['workarea_text']=data['workarea_text']

	job_href = re.sub('\\\\','',data['job_href'])
	sub_request = urllib.request.Request(
    	url = job_href, 
    	headers={'User-Agent':user_agent.get_user_agent_pc()}
	)    
	sub_response = urllib.request.urlopen(sub_request)
	sub_datas = tool.xpath_union(le.HTML(sub_response.read()),'//div[@class="tCompany_main"]/div[@class="tBorderTop_box"][1]//text()',split='\n',default=None)
	temp_data['job_zw']=sub_datas
	data_best.append(temp_data)

pd.DataFrame(data_best).to_csv('works.csv',encoding='utf8')   #保存為csv文件

總結：

打開鏈接可以用urllib.request.urlopen()直接打開，也可以用urllib.request.Request()構造更隱蔽的請求，urllib.request.Request() 傳入url、data、headers參數(shù)，data是bytes類型

urllib.parse.urlencode()方法可以構造url

關于python中urllib庫如何使用問題的解答就分享到這里了，希望以上內容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關注創(chuàng)新互聯(lián)行業(yè)資訊頻道了解更多相關知識。

新聞名稱：python中urllib庫如何使用
路徑分享：http://vcdvsql.cn/article2/peheoc.html

成都網站建設公司_創(chuàng)新互聯(lián)，為您提供用戶體驗、企業(yè)網站制作、營銷型網站建設、微信公眾號、網站營銷、靜態(tài)網站

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)