請(qǐng)問(wèn)Python如何創(chuàng)建有限線程來(lái)處理函數(shù)？

使用線程池：threadpool 模塊。這是一個(gè)第三方模塊，可以通過(guò)下面方法安裝：

創(chuàng)新互聯(lián)建站是一家專注于做網(wǎng)站、成都網(wǎng)站建設(shè)與策劃設(shè)計(jì),衡陽(yáng)網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)建站做網(wǎng)站,專注于網(wǎng)站建設(shè)十載,網(wǎng)設(shè)計(jì)領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:衡陽(yáng)等地區(qū)。衡陽(yáng)做網(wǎng)站價(jià)格咨詢:18980820575

easy_install threadpool

請(qǐng)教python如何開(kāi)啟多線程？

可以定義函數(shù)把這些代碼放在不同的函數(shù)里，然后threading模塊

import threading

th1 = threading.Thread(target=func1, args=(arg1, arg2, ...))

照這樣再定義別的線程，開(kāi)啟用Thread類的start方法

th1.start(); th2.start(); ...

Python多線程總結(jié)

在實(shí)際處理數(shù)據(jù)時(shí)，因系統(tǒng)內(nèi)存有限，我們不可能一次把所有數(shù)據(jù)都導(dǎo)出進(jìn)行操作，所以需要批量導(dǎo)出依次操作。為了加快運(yùn)行，我們會(huì)采用多線程的方法進(jìn)行數(shù)據(jù)處理， 以下為我總結(jié)的多線程批量處理數(shù)據(jù)的模板：

主要分為三大部分：

共分4部分對(duì)多線程的內(nèi)容進(jìn)行總結(jié)。

先為大家介紹線程的相關(guān)概念:

在飛車程序中，如果沒(méi)有多線程，我們就不能一邊聽(tīng)歌一邊玩飛車，聽(tīng)歌與玩 游戲 不能并行；在使用多線程后，我們就可以在玩 游戲 的同時(shí)聽(tīng)背景音樂(lè)。在這個(gè)例子中啟動(dòng)飛車程序就是一個(gè)進(jìn)程，玩 游戲 和聽(tīng)音樂(lè)是兩個(gè)線程。

Python 提供了 threading 模塊來(lái)實(shí)現(xiàn)多線程:

因?yàn)樾陆ň€程系統(tǒng)需要分配資源、終止線程系統(tǒng)需要回收資源，所以如果可以重用線程，則可以減去新建/終止的開(kāi)銷以提升性能。同時(shí)，使用線程池的語(yǔ)法比自己新建線程執(zhí)行線程更加簡(jiǎn)潔。

Python 為我們提供了 ThreadPoolExecutor 來(lái)實(shí)現(xiàn)線程池，此線程池默認(rèn)子線程守護(hù)。它的適應(yīng)場(chǎng)景為突發(fā)性大量請(qǐng)求或需要大量線程完成任務(wù)，但實(shí)際任務(wù)處理時(shí)間較短。

其中 max_workers 為線程池中的線程個(gè)數(shù)，常用的遍歷方法有 map 和 submit+as_completed 。根據(jù)業(yè)務(wù)場(chǎng)景的不同，若我們需要輸出結(jié)果按遍歷順序返回，我們就用 map 方法，若想誰(shuí)先完成就返回誰(shuí)，我們就用 submit+as_complete 方法。

我們把一個(gè)時(shí)間段內(nèi)只允許一個(gè)線程使用的資源稱為臨界資源，對(duì)臨界資源的訪問(wèn)，必須互斥的進(jìn)行。互斥，也稱間接制約關(guān)系。線程互斥指當(dāng)一個(gè)線程訪問(wèn)某臨界資源時(shí)，另一個(gè)想要訪問(wèn)該臨界資源的線程必須等待。當(dāng)前訪問(wèn)臨界資源的線程訪問(wèn)結(jié)束，釋放該資源之后，另一個(gè)線程才能去訪問(wèn)臨界資源。鎖的功能就是實(shí)現(xiàn)線程互斥。

我把線程互斥比作廁所包間上大號(hào)的過(guò)程，因?yàn)榘g里只有一個(gè)坑，所以只允許一個(gè)人進(jìn)行大號(hào)。當(dāng)?shù)谝粋€(gè)人要上廁所時(shí)，會(huì)將門上上鎖，這時(shí)如果第二個(gè)人也想大號(hào)，那就必須等第一個(gè)人上完，將鎖解開(kāi)后才能進(jìn)行，在這期間第二個(gè)人就只能在門外等著。這個(gè)過(guò)程與代碼中使用鎖的原理如出一轍，這里的坑就是臨界資源。 Python 的 threading 模塊引入了鎖。 threading 模塊提供了 Lock 類，它有如下方法加鎖和釋放鎖：

我們會(huì)發(fā)現(xiàn)這個(gè)程序只會(huì)打印“第一道鎖”，而且程序既沒(méi)有終止，也沒(méi)有繼續(xù)運(yùn)行。這是因?yàn)? Lock 鎖在同一線程內(nèi)第一次加鎖之后還沒(méi)有釋放時(shí)，就進(jìn)行了第二次 acquire 請(qǐng)求，導(dǎo)致無(wú)法執(zhí)行 release ，所以鎖永遠(yuǎn)無(wú)法釋放，這就是死鎖。如果我們使用 RLock 就能正常運(yùn)行，不會(huì)發(fā)生死鎖的狀態(tài)。

在主線程中定義 Lock 鎖，然后上鎖，再創(chuàng)建一個(gè)子 線程t 運(yùn)行 main 函數(shù)釋放鎖，結(jié)果正常輸出，說(shuō)明主線程上的鎖，可由子線程解鎖。

如果把上面的鎖改為 RLock 則報(bào)錯(cuò)。在實(shí)際中設(shè)計(jì)程序時(shí)，我們會(huì)將每個(gè)功能分別封裝成一個(gè)函數(shù)，每個(gè)函數(shù)中都可能會(huì)有臨界區(qū)域，所以就需要用到 RLock 。

一句話總結(jié)就是 Lock 不能套娃， RLock 可以套娃； Lock 可以由其他線程中的鎖進(jìn)行操作， RLock 只能由本線程進(jìn)行操作。

python 怎么實(shí)現(xiàn)多線程的

線程也就是輕量級(jí)的進(jìn)程，多線程允許一次執(zhí)行多個(gè)線程，Python是多線程語(yǔ)言，它有一個(gè)多線程包，GIL也就是全局解釋器鎖，以確保一次執(zhí)行單個(gè)線程，一個(gè)線程保存GIL并在將其傳遞給下一個(gè)線程之前執(zhí)行一些操作，也就產(chǎn)生了并行執(zhí)行的錯(cuò)覺(jué)。

小白都看懂了，Python 中的線程和進(jìn)程精講，建議收藏

目錄

眾所周知，CPU是計(jì)算機(jī)的核心，它承擔(dān)了所有的計(jì)算任務(wù)。而操作系統(tǒng)是計(jì)算機(jī)的管理者，是一個(gè)大管家，它負(fù)責(zé)任務(wù)的調(diào)度，資源的分配和管理，統(tǒng)領(lǐng)整個(gè)計(jì)算機(jī)硬件。應(yīng)用程序是具有某種功能的程序，程序運(yùn)行與操作系統(tǒng)之上

在很早的時(shí)候計(jì)算機(jī)并沒(méi)有線程這個(gè)概念，但是隨著時(shí)代的發(fā)展，只用進(jìn)程來(lái)處理程序出現(xiàn)很多的不足。如當(dāng)一個(gè)進(jìn)程堵塞時(shí)，整個(gè)程序會(huì)停止在堵塞處，并且如果頻繁的切換進(jìn)程，會(huì)浪費(fèi)系統(tǒng)資源。所以線程出現(xiàn)了

線程是能擁有資源和獨(dú)立運(yùn)行的最小單位，也是程序執(zhí)行的最小單位。一個(gè)進(jìn)程可以擁有多個(gè)線程，而且屬于同一個(gè)進(jìn)程的多個(gè)線程間會(huì)共享該進(jìn)行的資源

① 200 多本 Python 電子書(shū)（和經(jīng)典的書(shū)籍）應(yīng)該有

② Python標(biāo)準(zhǔn)庫(kù)資料（最全中文版）

③ 項(xiàng)目源碼（四五十個(gè)有趣且可靠的練手項(xiàng)目及源碼）

④ Python基礎(chǔ)入門、爬蟲(chóng)、網(wǎng)絡(luò)開(kāi)發(fā)、大數(shù)據(jù)分析方面的視頻（適合小白學(xué)習(xí)）

⑤ Python學(xué)習(xí)路線圖（告別不入流的學(xué)習(xí)）

私信我01即可獲取大量Python學(xué)習(xí)資源

進(jìn)程時(shí)一個(gè)具有一定功能的程序在一個(gè)數(shù)據(jù)集上的一次動(dòng)態(tài)執(zhí)行過(guò)程。進(jìn)程由程序，數(shù)據(jù)集合和進(jìn)程控制塊三部分組成。程序用于描述進(jìn)程要完成的功能，是控制進(jìn)程執(zhí)行的指令集；數(shù)據(jù)集合是程序在執(zhí)行時(shí)需要的數(shù)據(jù)和工作區(qū)；程序控制塊（PCB）包含程序的描述信息和控制信息，是進(jìn)程存在的唯一標(biāo)志

在Python中，通過(guò)兩個(gè)標(biāo)準(zhǔn)庫(kù) thread 和 Threading 提供對(duì)線程的支持, threading 對(duì) thread 進(jìn)行了封裝。 threading 模塊中提供了 Thread , Lock , RLOCK , Condition 等組件

在Python中線程和進(jìn)程的使用就是通過(guò) Thread 這個(gè)類。這個(gè)類在我們的 thread 和 threading 模塊中。我們一般通過(guò) threading 導(dǎo)入

默認(rèn)情況下，只要在解釋器中，如果沒(méi)有報(bào)錯(cuò)，則說(shuō)明線程可用

守護(hù)模式：

現(xiàn)在我們程序代碼中，有多個(gè)線程， 并且在這個(gè)幾個(gè)線程中都會(huì)去 操作同一部分內(nèi)容，那么如何實(shí)現(xiàn)這些數(shù)據(jù)的共享呢？

這時(shí)，可以使用 threading庫(kù)里面的鎖對(duì)象 Lock 去保護(hù)

Lock 對(duì)象的acquire方法 是申請(qǐng)鎖

每個(gè)線程在操作共享數(shù)據(jù)對(duì)象之前，都應(yīng)該申請(qǐng)獲取操作權(quán)，也就是調(diào)用該共享數(shù)據(jù)對(duì)象對(duì)應(yīng)的鎖對(duì)象的acquire方法，如果線程A 執(zhí)行了 acquire() 方法，別的線程B 已經(jīng)申請(qǐng)到了這個(gè)鎖， 并且還沒(méi)有釋放，那么 線程A的代碼就在此處 等待 線程B 釋放鎖，不去執(zhí)行后面的代碼。

直到線程B 執(zhí)行了鎖的 release 方法釋放了這個(gè)鎖， 線程A 才可以獲取這個(gè)鎖，就可以執(zhí)行下面的代碼了

如：

到在使用多線程時(shí)，如果數(shù)據(jù)出現(xiàn)和自己預(yù)期不符的問(wèn)題，就可以考慮是否是共享的數(shù)據(jù)被調(diào)用覆蓋的問(wèn)題

使用 threading 庫(kù)里面的鎖對(duì)象 Lock 去保護(hù)

Python中的多進(jìn)程是通過(guò)multiprocessing包來(lái)實(shí)現(xiàn)的，和多線程的threading.Thread差不多，它可以利用multiprocessing.Process對(duì)象來(lái)創(chuàng)建一個(gè)進(jìn)程對(duì)象。這個(gè)進(jìn)程對(duì)象的方法和線程對(duì)象的方法差不多也有start(), run(), join()等方法，其中有一個(gè)方法不同Thread線程對(duì)象中的守護(hù)線程方法是setDeamon，而Process進(jìn)程對(duì)象的守護(hù)進(jìn)程是通過(guò)設(shè)置daemon屬性來(lái)完成的

守護(hù)模式：

其使用方法和線程的那個(gè) Lock 使用方法類似

Manager的作用是提供多進(jìn)程共享的全局變量，Manager()方法會(huì)返回一個(gè)對(duì)象，該對(duì)象控制著一個(gè)服務(wù)進(jìn)程，該進(jìn)程中保存的對(duì)象運(yùn)行其他進(jìn)程使用代理進(jìn)行操作

語(yǔ)法：

線程池的基類是 concurrent.futures 模塊中的 Executor ， Executor 提供了兩個(gè)子類，即 ThreadPoolExecutor 和 ProcessPoolExecutor ，其中 ThreadPoolExecutor 用于創(chuàng)建線程池，而 ProcessPoolExecutor 用于創(chuàng)建進(jìn)程池

如果使用線程池/進(jìn)程池來(lái)管理并發(fā)編程，那么只要將相應(yīng)的 task 函數(shù)提交給線程池/進(jìn)程池，剩下的事情就由線程池/進(jìn)程池來(lái)搞定

Exectuor 提供了如下常用方法：

程序?qū)?task 函數(shù)提交（submit）給線程池后，submit 方法會(huì)返回一個(gè) Future 對(duì)象，F(xiàn)uture 類主要用于獲取線程任務(wù)函數(shù)的返回值。由于線程任務(wù)會(huì)在新線程中以異步方式執(zhí)行，因此，線程執(zhí)行的函數(shù)相當(dāng)于一個(gè)“將來(lái)完成”的任務(wù)，所以 Python 使用 Future 來(lái)代表

Future 提供了如下方法：

使用線程池來(lái)執(zhí)行線程任務(wù)的步驟如下：

最佳線程數(shù)目 = （（線程等待時(shí)間+線程CPU時(shí)間）/線程CPU時(shí)間 ）* CPU數(shù)目

也可以低于 CPU 核心數(shù)

使用線程池來(lái)執(zhí)行線程任務(wù)的步驟如下：

關(guān)于進(jìn)程的開(kāi)啟代碼一定要放在 if __name__ == '__main__': 代碼之下，不能放到函數(shù)中或其他地方

開(kāi)啟進(jìn)程的技巧

開(kāi)啟進(jìn)程的數(shù)量最好低于最大 CPU 核心數(shù)

本文題目：web應(yīng)用開(kāi)發(fā)go語(yǔ)言,go語(yǔ)言做web服務(wù)器
網(wǎng)址分享：http://vcdvsql.cn/article26/hssccg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供關(guān)鍵詞優(yōu)化、建站公司、營(yíng)銷型網(wǎng)站建設(shè)、自適應(yīng)網(wǎng)站、網(wǎng)站改版、商城網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)