這篇文章主要介紹了python如何實現多線程并發抓取，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

創新互聯建站是一家集網站建設,佛坪企業網站建設,佛坪品牌網站建設,網站定制,佛坪網站建設報價,網絡營銷,網絡優化,佛坪網站推廣為一體的創新建站企業，幫助傳統企業提升企業形象加強企業競爭力。可充分滿足這一群體相比中小企業更為豐富、高端、多元的互聯網需求。同時我們時刻保持專業、時尚、前沿，時刻以成就客戶成長自我，堅持不斷學習、思考、沉淀、凈化自己，讓我們為更多的企業打造出實用型網站。

多線程并發抓取

單線程太慢的話，就需要多線程了，這里給個簡單的線程池模板 這個程序只是簡單地打印了1-10，但是可以看出是并發的。

雖然說Python的多線程很雞肋，但是對于爬蟲這種網絡頻繁型，還是能一定程度提高效率的。

from threading import Thread
from Queue import Queue
from time import sleep
# q是任務隊列
#NUM是并發線程總數
#JOBS是有多少任務
q = Queue()
NUM = 2
JOBS = 10
#具體的處理函數，負責處理單個任務
def do_somthing_using(arguments):
    print arguments
#這個是工作進程，負責不斷從隊列取數據并處理
def working():
while True:
arguments = q.get()
do_somthing_using(arguments)
sleep(1)
q.task_done()
#fork NUM個線程等待隊列
for i in range(NUM):
t = Thread(target=working)
t.setDaemon(True)
t.start()
#把JOBS排入隊列
for i in range(JOBS):
q.put(i)
#等待所有JOBS完成
q.join()

感謝你能夠認真閱讀完這篇文章，希望小編分享的“python如何實現多線程并發抓取”這篇文章對大家有幫助，同時也希望大家多多支持創新互聯，關注創新互聯行業資訊頻道，更多相關知識等著你來學習!

當前名稱：python如何實現多線程并發抓取
文章URL：http://vcdvsql.cn/article35/pehhpi.html

成都網站建設公司_創新互聯，為您提供全網營銷推廣、微信公眾號、品牌網站建設、關鍵詞優化、企業網站制作、動態網站

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯