Python 多進程內存占用問題

當我們有一個很長很長的任務隊列(mission_list)和閾值對應的一個處理函數(missionFunction)時，我們一般采用如下的方式進行處理：

專注于為中小企業提供成都網站建設、網站制作服務,電腦端+手機端+微信端的三站合一,更高效的管理,為中小企業仁化免費做網站提供優質的服務。我們立足成都，凝聚了一批互聯網行業人才，有力地推動了成百上千企業的穩健成長，幫助中小企業通過網站建設實現規模擴充和轉變。

但是，如果這任務列表很長很長，處理函數很復雜(占用cpu)時，單核往往需要很長的時間進行處理，此時，Multiprocess便可以極大的提高我們程序的運行速度，相關內容請借鑒 multiprocessing --- 基于進程的并行 — Python 3.10.4 文檔。

以上這種場景下，推薦大家采用最簡單的進程池+map的方法進行處理，標準的寫法， chunksize要借鑒官方的說法，最好大一點 ：

但是?。。?！ 如果我們的任務列表非常的長，這會導致多進程還沒跑起來之前，內存已經撐爆了，任務自然沒法完成，此時我們有幾種辦法進行優化：

進程的啟動方法有三種，可參考官方文檔：

[圖片上傳失敗...(image-48cd3c-1650511153989)]

在linux環境下，使用forkserver可以節省很多的內存空間， 因為進程啟動的是一個服務，不會把主進程的數據全部復制

采用imap會極大的節省空間，它返回的是一個迭代器，也就是結果列表：

但注意，以上寫法中，你寫的結果迭代部分必須寫在with下面。或者采用另一種寫法：

還有最后一種，當你的mission list實在太大了，導致你在生成 mission list的時候已經把內存撐爆了，這個時候就得優化 mission_list了，如果你的mission_list是通過一個for循環生成的，你可以使用yield字段，將其封裝為一個迭代器，傳入進程池：

這樣子，我們就封裝好了mission_list，它是一個可迭代對象，在取數據的時候才會將數據拉到內存

我在項目中結合了后兩種方法，原本256G的內存都不夠用，但在修改后內存只占用了不到10G。希望能夠幫助到你

3種python3的canny邊緣檢測之靜態，可調節和自適應

先看高級版的python3的canny的自適應邊緣檢測：

內容：

1 canny的邊緣檢測的介紹。

2 三種方法的canny的邊緣檢測，由淺入深地介紹：固定值的靜態，可自調節的，自適應的。

說明：

1 環境：python3.8、opencv4.5.3和matplotlib3.4.3。

2 圖片：來自品閱網正版免費圖庫。

3 實現自適應閾值的canny邊緣檢測的參考代碼和文章：

上述的代碼，本機均有報錯，故對代碼進行修改，注釋和運行。

初級canny：

1 介紹：opencv中給出了canny邊緣檢測的接口，直接調用：

即可得到邊緣檢測的結果ret，其中，t1，t2是需要人為設置的閾值。

2 python的opencv的一行代碼即可實現邊緣檢測。

3 Canny函數及使用：

4 Canny邊緣檢測流程：

去噪 -- 梯度 -- 非極大值抑制 -- 滯后閾值

5 代碼：

6 操作和過程：

7 原圖：

8 疑問：

ret = cv2.canny(img,t1,t2)，其中，t1，t2是需要人為設置的閾值，一般人怎么知道具體數值是多少，才是最佳的呀？所以，這是它的缺點。

中級canny：

1 中級canny，就是可調節的閾值，找到最佳的canny邊緣檢測效果。

2 采用cv2.createTrackbar來調節閾值。

3 代碼：

4 操作和效果：

5 原圖：

高級canny：

1 自適應canny的算法：

ret = cv2.canny(img,t1,t2)

即算法在運行過程中能夠自適應地找到較佳的分割閾值t1，t2。

2 文件結構：

3 main.py代碼：

4 dog.py代碼：

5 bilateralfilt.py代碼：

6 原圖：

7 效果圖：本文第一個gif圖，此處省略。

小結：

1 本文由淺入深，總結的很好，適合收藏。

2 對于理解python的opencv的canny的邊緣檢測，很有幫助。

3 本文高級版canny自適應的算法參考2篇文章，雖然我進行代碼的刪除，注釋，修改，優化等操作，故我不標注原創，對原作者表達敬意。

4 自己總結和整理，分享出來，希望對大家有幫助。

python 使用余弦相似度計算之后如何設置一個閾值呢

找一個驗證集合，遍歷可能的閾值，計算評價指標，確定最佳閾值

名稱欄目：python閾值函數,python統計大于閾值的個數
文章地址：http://vcdvsql.cn/article44/hchehe.html

成都網站建設公司_創新互聯，為您提供網站內鏈、App開發、網站設計公司、、營銷型網站建設、電子商務

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯