【golang詳解】go語言GMP(GPM)原理和調度

Goroutine調度是一個很復雜的機制，下面嘗試用簡單的語言描述一下Goroutine調度機制，想要對其有更深入的了解可以去研讀一下源碼。

成都創新互聯是一家集網站建設,都昌企業網站建設,都昌品牌網站建設,網站定制,都昌網站建設報價,網絡營銷,網絡優化,都昌網站推廣為一體的創新建站企業，幫助傳統企業提升企業形象加強企業競爭力。可充分滿足這一群體相比中小企業更為豐富、高端、多元的互聯網需求。同時我們時刻保持專業、時尚、前沿，時刻以成就客戶成長自我，堅持不斷學習、思考、沉淀、凈化自己，讓我們為更多的企業打造出實用型網站。

首先介紹一下GMP什么意思：

G ----------- goroutine: 即Go協程，每個go關鍵字都會創建一個協程。

M ---------- thread內核級線程，所有的G都要放在M上才能運行。

P ----------- processor處理器，調度G到M上，其維護了一個隊列，存儲了所有需要它來調度的G。

Goroutine 調度器P和 OS 調度器是通過 M 結合起來的，每個 M 都代表了 1 個內核線程，OS 調度器負責把內核線程分配到 CPU 的核上執行

模型圖：

避免頻繁的創建、銷毀線程，而是對線程的復用。

1）work stealing機制

當本線程無可運行的G時，嘗試從其他線程綁定的P偷取G，而不是銷毀線程。

2）hand off機制

當本線程M0因為G0進行系統調用阻塞時，線程釋放綁定的P，把P轉移給其他空閑的線程執行。進而某個空閑的M1獲取P，繼續執行P隊列中剩下的G。而M0由于陷入系統調用而進被阻塞，M1接替M0的工作，只要P不空閑，就可以保證充分利用CPU。M1的來源有可能是M的緩存池，也可能是新建的。當G0系統調用結束后，根據M0是否能獲取到P，將會將G0做不同的處理：

如果有空閑的P，則獲取一個P，繼續執行G0。

如果沒有空閑的P，則將G0放入全局隊列，等待被其他的P調度。然后M0將進入緩存池睡眠。

如下圖

GOMAXPROCS設置P的數量，最多有GOMAXPROCS個線程分布在多個CPU上同時運行

在Go中一個goroutine最多占用CPU 10ms，防止其他goroutine被餓死。

具體可以去看另一篇文章

【Golang詳解】go語言調度機制 搶占式調度

當創建一個新的G之后優先加入本地隊列，如果本地隊列滿了，會將本地隊列的G移動到全局隊列里面，當M執行work stealing從其他P偷不到G時，它可以從全局G隊列獲取G。

協程經歷過程

我們創建一個協程 go func()經歷過程如下圖：

說明：

這里有兩個存儲G的隊列，一個是局部調度器P的本地隊列、一個是全局G隊列。新創建的G會先保存在P的本地隊列中，如果P的本地隊列已經滿了就會保存在全局的隊列中；處理器本地隊列是一個使用數組構成的環形鏈表，它最多可以存儲 256 個待執行任務。

G只能運行在M中，一個M必須持有一個P，M與P是1：1的關系。M會從P的本地隊列彈出一個可執行狀態的G來執行，如果P的本地隊列為空，就會想其他的MP組合偷取一個可執行的G來執行；

一個M調度G執行的過程是一個循環機制；會一直從本地隊列或全局隊列中獲取G

上面說到P的個數默認等于CPU核數，每個M必須持有一個P才可以執行G，一般情況下M的個數會略大于P的個數，這多出來的M將會在G產生系統調用時發揮作用。類似線程池，Go也提供一個M的池子，需要時從池子中獲取，用完放回池子，不夠用時就再創建一個。

work-stealing調度算法：當M執行完了當前P的本地隊列隊列里的所有G后，P也不會就這么在那躺尸啥都不干，它會先嘗試從全局隊列隊列尋找G來執行，如果全局隊列為空，它會隨機挑選另外一個P，從它的隊列里中拿走一半的G到自己的隊列中執行。

如果一切正常，調度器會以上述的那種方式順暢地運行，但這個世界沒這么美好，總有意外發生，以下分析goroutine在兩種例外情況下的行為。

Go runtime會在下面的goroutine被阻塞的情況下運行另外一個goroutine：

用戶態阻塞/喚醒

當goroutine因為channel操作或者network I/O而阻塞時（實際上golang已經用netpoller實現了goroutine網絡I/O阻塞不會導致M被阻塞，僅阻塞G，這里僅僅是舉個栗子），對應的G會被放置到某個wait隊列(如channel的waitq)，該G的狀態由_Gruning變為_Gwaitting，而M會跳過該G嘗試獲取并執行下一個G，如果此時沒有可運行的G供M運行，那么M將解綁P，并進入sleep狀態；當阻塞的G被另一端的G2喚醒時（比如channel的可讀/寫通知），G被標記為，嘗試加入G2所在P的runnext（runnext是線程下一個需要執行的 Goroutine。）， 然后再是P的本地隊列和全局隊列。

系統調用阻塞

當M執行某一個G時候如果發生了阻塞操作，M會阻塞，如果當前有一些G在執行，調度器會把這個線程M從P中摘除，然后再創建一個新的操作系統的線程(如果有空閑的線程可用就復用空閑線程)來服務于這個P。當M系統調用結束時候，這個G會嘗試獲取一個空閑的P執行，并放入到這個P的本地隊列。如果獲取不到P，那么這個線程M變成休眠狀態， 加入到空閑線程中，然后這個G會被放入全局隊列中。

隊列輪轉

可見每個P維護著一個包含G的隊列，不考慮G進入系統調用或IO操作的情況下，P周期性的將G調度到M中執行，執行一小段時間，將上下文保存下來，然后將G放到隊列尾部，然后從隊列中重新取出一個G進行調度。

除了每個P維護的G隊列以外，還有一個全局的隊列，每個P會周期性地查看全局隊列中是否有G待運行并將其調度到M中執行，全局隊列中G的來源，主要有從系統調用中恢復的G。之所以P會周期性地查看全局隊列，也是為了防止全局隊列中的G被餓死。

除了每個P維護的G隊列以外，還有一個全局的隊列，每個P會周期性地查看全局隊列中是否有G待運行并將其調度到M中執行，全局隊列中G的來源，主要有從系統調用中恢復的G。之所以P會周期性地查看全局隊列，也是為了防止全局隊列中的G被餓死。

M0

M0是啟動程序后的編號為0的主線程，這個M對應的實例會在全局變量rutime.m0中，不需要在heap上分配，M0負責執行初始化操作和啟動第一個G，在之后M0就和其他的M一樣了

G0

G0是每次啟動一個M都會第一個創建的goroutine，G0僅用于負責調度G，G0不指向任何可執行的函數，每個M都會有一個自己的G0，在調度或系統調用時會使用G0的?？臻g，全局變量的G0是M0的G0

一個G由于調度被中斷，此后如何恢復？

中斷的時候將寄存器里的棧信息，保存到自己的G對象里面。當再次輪到自己執行時，將自己保存的棧信息復制到寄存器里面，這樣就接著上次之后運行了。

我這里只是根據自己的理解進行了簡單的介紹，想要詳細了解有關GMP的底層原理可以去看Go調度器 G-P-M 模型的設計者的文檔或直接看源碼

參考： ()

()

Go語言的特點

類型 在變量名后邊

也可不顯式聲明類型, 類型推斷, 但是是靜態語言, name一開始放字符串就不能再賦值數字

方法,屬性 分開 方法名首字母大寫就是就是外部可調的

面向對象設計的一個重要原則：“優先使用組合而不是繼承”

Dog 也是Animal , 要復用Animal 的屬性和方法,

只需要在結構體 type 里面寫 Animal

入口也是main, 用用試試

多態, 有這個方法就是這個接口的實現, 具體的類 不需要知道自己實現了什么接口,

使用: 在一個函數調用之前加上關鍵字go 就啟動了一個goroutine

創建一個goroutine,它會被加入到一個全局的運行隊列當中，

調度器 會把他們分配給某個 邏輯處理器 的隊列，

一個邏輯處理器 綁定到一個 操作系統線程 ，在上面運行goroutine，

如果goroutine需要讀寫文件, 阻塞 ,就脫離邏輯處理器 直接 goroutine - 系統線程 綁定

編譯成同名.exe 來執行, 不通過虛擬機, 直接是機器碼, 和C 一樣, 所以非常快

但是也有自動垃圾回收,每個exe文件當中已經包含了一個類似于虛擬機的runtime,進行goroutine的調度

默認是靜態鏈接的，那個exe會把運行時所需要的所有東西都加進去，這樣就可以把exe復制到任何地方去運行了, 因此 生成的 .exe 文件非常大

Go語言——goroutine并發模型

參考：

Goroutine并發調度模型深度解析手擼一個協程池

Golang 的 goroutine 是如何實現的？

Golang - 調度剖析【第二部分】

OS線程初始棧為2MB。Go語言中，每個goroutine采用動態擴容方式，初始2KB，按需增長，最大1G。此外GC會收縮?？臻g。

BTW，增長擴容都是有代價的，需要copy數據到新的stack，所以初始2KB可能有些性能問題。

更多關于stack的內容，可以參見大佬的文章。 聊一聊goroutine stack

用戶線程的調度以及生命周期管理都是用戶層面，Go語言自己實現的，不借助OS系統調用，減少系統資源消耗。

Go語言采用兩級線程模型，即用戶線程與內核線程KSE（kernel scheduling entity）是M:N的。最終goroutine還是會交給OS線程執行，但是需要一個中介，提供上下文。這就是G-M-P模型

Go調度器有兩個不同的運行隊列：

go1.10\src\runtime\runtime2.go

Go調度器根據事件進行上下文切換。

調度的目的就是防止M堵塞，空閑，系統進程切換。

詳見 Golang - 調度剖析【第二部分】

Linux可以通過epoll實現網絡調用，統稱網絡輪詢器N（Net Poller）。

文件IO操作

上面都是防止M堵塞，任務竊取是防止M空閑

每個M都有一個特殊的G，g0。用于執行調度，gc，棧管理等任務，所以g0的棧稱為調度棧。g0的棧不會自動增長，不會被gc，來自os線程的棧。

go1.10\src\runtime\proc.go

G沒辦法自己運行，必須通過M運行

M通過通過調度，執行G

從M掛載P的runq中找到G，執行G

golang的線程模型——GMP模型

內核線程（Kernel-Level Thread ，KLT）

輕量級進程（Light Weight Process,LWP）：輕量級進程就是我們通常意義上所講的線程，由于每個輕量級進程都由一個內核線程支持，因此只有先支持內核線程，才能有輕量級進程

用戶線程與系統線程一一對應，用戶線程執行如lo操作的系統調用時，來回切換操作開銷相對比較大

多個用戶線程對應一個內核線程，當內核線程對應的一個用戶線程被阻塞掛起時候，其他用戶線程也阻塞不能執行了。

多對多模型是可以充分利用多核CPU提升運行效能的

go線程模型包含三個概念：內核線程(M)，goroutine(G),G的上下文環境（P）；

GMP模型是goalng特有的。

P與M一般是一一對應的。P（上下文）管理著一組G（goroutine）掛載在M（內核線程）上運行，圖中左邊藍色為正在執行狀態的goroutine，右邊為待執行狀態的goroutiine隊列。P的數量由環境變量GOMAXPROCS的值或程序運行runtime.GOMAXPROCS()進行設置。

當一個os線程在執行M1一個G1發生阻塞時，調度器讓M1拋棄P，等待G1返回，然后另起一個M2接收P來執行剩下的goroutine隊列（G2、G3...），這是golang調度器厲害的地方，可以保證有足夠的線程來運行剩下所有的goroutine。

當G1結束后，M1會重新拿回P來完成，如果拿不到就丟到全局runqueue中，然后自己放到線程池或轉入休眠狀態。空閑的上下文P會周期性的檢查全局runqueue上的goroutine，并且執行它。

另一種情況就是當有些P1太閑而其他P2很忙碌的時候，會從其他上下文P2拿一些G來執行。

詳細可以翻看下方第一個參考鏈接，寫得真好。

最后用大佬的總結來做最后的收尾————

Go語言運行時，通過核心元素G，M，P 和 自己的調度器，實現了自己的并發線程模型。調度器通過對G，M，P的調度實現了兩級線程模型中操作系統內核之外的調度任務。整個調度過程中會在多種時機去觸發最核心的步驟 “一整輪調度”，而一整輪調度中最關鍵的部分在“全力查找可運行G”，它保證了M的高效運行（換句話說就是充分使用了計算機的物理資源），一整輪調度中還會涉及到M的啟用停止。最后別忘了，還有一個與Go程序生命周期相同的系統監測任務來進行一些輔助性的工作。

淺析Golang的線程模型與調度器

Golang CSP并發模型

Golang線程模型

Golang的調度模型

Go有四大核心模塊，基本全部體現在runtime，有調度系統、GC、goroutine、channel，那么深入理解其中的精髓可以幫助我們理解Go這一門語言！

參考: 調度系統設計精要

下面是我用Go語言簡單寫的一個調度器，大家可以看看設計思路，以及存在的問題！

1、測試條件，調度器只啟動兩個線程，然后一個線程主要是負責循環的添加任務，一個線程循環的去執行任務

2、測試條件，調度器啟動三個線程，然后兩個線程去執行任務，一個添加任務

3、繼續測試，啟動十個線程，一個添加任務，九個執行任務

4、我們添加一些阻塞的任務

執行可以看到完全不可用

1、 可以看到隨著M的不斷的增加，可以發現執行任務的數量也不斷的減少，原因是什么呢？有興趣的同學可以加一個pprof可以看看，其實大量的在等待鎖的過程！

2、如果我的M運行了類似于Sleep操作的方法如何解決了，我的調度器還能支撐這個量級的調度嗎？

關于pprof如何使用：在代碼頭部加一個這個代碼：

我們查看一下 go tool pprof main/prof.pporf

可以看到真正執行代碼的時間只有 0.17s + 0.02s 其他時間都被阻塞掉了！

1、GM模型中的所有G都是放入到一個queue，那么導致所有的M取執行任務時都會去競爭鎖，我們插入G也會去競爭鎖，所以解決這種問題一般就是減少對單一資源的競爭，那就是桶化，其實就是每個線程都分配一個隊列

2、GM模型中沒有任務狀態，只有runnable，假如任務遇到阻塞，完全可以把任務掛起再喚醒

這里其實會遇到一個問題，假如要分配很多個線程，那么此時隨著線程的增加，也會造成隊列的增加，其實也會造成調度器的壓力，因為它需要遍歷全部線程的隊列去分配任務以及后續會講到的竊取任務！

因為我們知道CPU的最大并行度其實取決于CPU的核數，也就是我們沒必要為每個線程都去分配一個隊列，因為就算是給他們分配了，他們自己去那執行調度，其實也會出現大量阻塞，原因就是CPU調度不過來這些線程！

Go里面是只分配了CPU個數的隊列，這里就是P這個概念，你可以理解為P其實是真正的資源分配器，M很輕只是執行程序，所有的資源內存都維護在P上！M只有綁定P才能執行任務（強制的）！

這樣做的好處：

1、首先調度程序其實就是調度不同狀態的任務，go里面為Go標記了不同的狀態，其實大概就是分為：runnable，running，block等，所以如何充分調度不同狀態的G成了問題，那么關于阻塞的G如何解決，其實可以很好的解決G調度的問題！

上面這些情況其實就分為：

2、用戶態阻塞，一般Go里面依靠 gopark 函數去實現，大體的代碼邏輯基本上和go的調度綁定死了

源碼在：

3、其實對于netpool 這種nio模型，其實內核調用是非阻塞的，所以go開辟了一個網絡輪訓器隊列，來存放這些被阻塞的g，等待內核被喚醒！那么什么時候會被喚醒了，其實就是需要等待調度器去調度了！

4、如果是內核態阻塞了（內核態阻塞一般都會將線程掛起，線程需要等待被喚醒），我們此時P只能放棄此線程的權利，然后再找一個新的線程去運行P！

關于著新線程：找有沒有idle的線程，沒有就會創建一個新的線程！

關于當內核被喚醒后的操作：因為GPM模型所以需要找到個P綁定，所以G會去嘗試找一個可用的P，如果沒有可用的P，G會標記為runnable放到全局隊列中！

5、其實了解上面大致其實就了解了Go的基本調度模型

答案文章里慢慢品味！

如果某個 G 執行時間過長，其他的 G 如何才能被正常的調度？ 這便涉及到有關調度的兩個理念：協作式調度與搶占式調度。協作式和搶占式這兩個理念解釋起來很簡單： 協作式調度依靠被調度方主動棄權；搶占式調度則依靠調度器強制將被調度方被動中斷。

例如下面的代碼，我本地的版本是 go1.13.5

執行: GOMAXPROCS=1 配置全局只能有一個P

可以看到main函數無法執行!也就是那個go 空轉搶占了整個程序

備注：

但是假如我換為用 1.14+版本執行，有興趣的話可以使用我的docker鏡像，直接可以拉取： fanhaodong/golang:1.15.11 和 fanhaodong/golang:1.13.5

首先我們知道G/M/P，G可能和M也可能和P解除綁定，那么關于數據變量放在哪哇！其實這個就是逃逸分析！

輸出可以看到其實沒有發生逃逸，那是因為 demo被拷貝它自己的棧空間內

備注：

-gcflags"-N -l -m" 其中 -N禁用優化-l禁止內聯優化，-m打印逃逸信息

那么繼續改成這個

可以看到發現 demo對象其實被逃逸到了堆上！這就是不會出現類似于G如果被別的M執行，其實不會出現內存分配位置的問題！

所以可以看到demo其實是copy到了堆上！這就是g逃逸的問題，和for循環一樣的

執行可以發現，其實x已經逃逸到了堆上，所以你所有的g都引用的一個對象，如何解決了

如何解決了，其實很簡單

也談goroutine調度器

圖解Go運行時調度器

Go語言回顧：從Go 1.0到Go 1.13

Go語言原本

調度系統設計精要

Scalable Go Scheduler Design Doc

Golang 線程和協程的區別

線程：

多線程是為了解決CPU利用率的問題，線程則是為了減少上下文切換時的開銷，進程和線程在Linux中沒有本質區別，最大的不同就是進程有自己獨立的內存空間，而線程是共享內存空間。

在進程切換時需要轉換內存地址空間，而線程切換沒有這個動作，所以線程切換比進程切換代價要小得多。

協程：

想要簡單，又要性能高，協程就可以達到我們的目的，它是用戶視角的一種抽象，操作系統并沒有這個概念，主要思想是在用戶態實現調度算法，用少量線程完成大量任務的調度。

Goroutine是GO語言實現的協程，其特點是在語言層面就支持，使用起來十分方便，它的核心是MPG調度模型：M即內核線程;P即處理器，用來執行Goroutine，它維護了本地可運行隊列;G即Goroutine，代碼和數據結構;S及調度器，維護M和P的信息。

當前題目：go語言的調度系統 go語言 運行
文章出自：http://vcdvsql.cn/article46/doodgeg.html

成都網站建設公司_創新互聯，為您提供Google、定制網站、網站制作、網站營銷、網站設計、建站公司

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯