golang協(xié)程調(diào)度模式解密

golang學(xué)習(xí)筆記

創(chuàng)新互聯(lián)建站于2013年開(kāi)始，是專(zhuān)業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項(xiàng)目網(wǎng)站制作、網(wǎng)站建設(shè)網(wǎng)站策劃，項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢(mèng)想脫穎而出為使命，1280元吳忠做網(wǎng)站,已為上家服務(wù),為吳忠各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話(huà):18980820575

頻繁創(chuàng)建線(xiàn)程會(huì)造成不必要的開(kāi)銷(xiāo)，所以才有了線(xiàn)程池。在線(xiàn)程池中預(yù)先保存一定數(shù)量的線(xiàn)程，新任務(wù)發(fā)布到任務(wù)隊(duì)列，線(xiàn)程池中的線(xiàn)程不斷地從任務(wù)隊(duì)列中取出任務(wù)并執(zhí)行，可以有效的減少創(chuàng)建和銷(xiāo)毀帶來(lái)的開(kāi)銷(xiāo)。

過(guò)多的線(xiàn)程會(huì)導(dǎo)致?tīng)?zhēng)搶cpu資源，且上下文的切換的開(kāi)銷(xiāo)變大。而工作在用戶(hù)態(tài)的協(xié)程能大大減少上下文切換的開(kāi)銷(xiāo)。協(xié)程調(diào)度器把可運(yùn)行的協(xié)程逐個(gè)調(diào)度到線(xiàn)程中執(zhí)行，同時(shí)即時(shí)把阻塞的協(xié)程調(diào)度出協(xié)程，從而有效地避免了線(xiàn)程的頻繁切換，達(dá)到了少量線(xiàn)程實(shí)現(xiàn)高并發(fā)的效果。

多個(gè)協(xié)程分享操作系統(tǒng)分給線(xiàn)程的時(shí)間片，從而達(dá)到充分利用CPU的目的，協(xié)程調(diào)度器決定了則決定了協(xié)程運(yùn)行的順序。每個(gè)線(xiàn)程同一時(shí)刻只能運(yùn)行一個(gè)協(xié)程。

go調(diào)度模型包含三個(gè)實(shí)體：

每個(gè)處理器維護(hù)者一個(gè)協(xié)程G的隊(duì)列，處理器依次將協(xié)程G調(diào)度到M中執(zhí)行。

每個(gè)P會(huì)周期性地查看全局隊(duì)列中是否有G待運(yùn)行并將其調(diào)度到M中執(zhí)行，全局隊(duì)列中的G主要來(lái)自系統(tǒng)調(diào)用中恢復(fù)的G.

如果協(xié)程發(fā)起系統(tǒng)調(diào)用，則整個(gè)工作線(xiàn)程M被阻塞，協(xié)程隊(duì)列中的其他協(xié)程都會(huì)阻塞。

一般情況下M的個(gè)數(shù)會(huì)略大于P個(gè)數(shù)，多出來(lái)的M將會(huì)在G產(chǎn)生系統(tǒng)調(diào)用時(shí)發(fā)揮作用。與線(xiàn)程池類(lèi)似，Go也提供M池子。當(dāng)協(xié)程G1發(fā)起系統(tǒng)掉用時(shí)，M1會(huì)釋放P,由 M1-P-G1 G2 ... 轉(zhuǎn)變成 M1-G1 , M2會(huì)接管P的其他協(xié)程 M2-P-G2 G3 G4... 。

冗余的M可能來(lái)源于緩存池，也可能是新建的。

當(dāng)G1結(jié)束系統(tǒng)調(diào)用后，根據(jù)M1是否獲取到P,進(jìn)行不用的處理。

多個(gè)處理P維護(hù)隊(duì)列可能不均衡，導(dǎo)致部分處理器非常繁忙，而其余相對(duì)空閑。產(chǎn)生原因是有些協(xié)程自身不斷地派生協(xié)程。

為此Go調(diào)度器提供了工作量竊取策略，當(dāng)某個(gè)處理器P沒(méi)有需要調(diào)度的協(xié)程時(shí)，將從其他處理中偷取協(xié)程，每次偷取一半。

搶占式調(diào)度，是指避免某個(gè)協(xié)程長(zhǎng)時(shí)間執(zhí)行，而阻礙其他協(xié)程被調(diào)度的機(jī)制。

調(diào)度器監(jiān)控每個(gè)協(xié)程執(zhí)行時(shí)間，一旦執(zhí)行時(shí)間過(guò)長(zhǎng)且有其他協(xié)程等待，會(huì)把協(xié)程暫停，轉(zhuǎn)而調(diào)度等待的協(xié)程，以達(dá)到類(lèi)似時(shí)間片輪轉(zhuǎn)的效果。比如for循環(huán)會(huì)一直占用執(zhí)行權(quán)。

在IO密集型應(yīng)用，GOMAXPROCS大小設(shè)置大一些，獲取性能會(huì)更好。

IO密集型會(huì)經(jīng)常發(fā)生系統(tǒng)調(diào)用，會(huì)有一個(gè)新的M啟用或創(chuàng)建，但由于Go調(diào)度器檢測(cè)M到被阻塞有一定延遲。如果P數(shù)量多，則P管理協(xié)程隊(duì)列會(huì)變小。

Go語(yǔ)言設(shè)計(jì)與實(shí)現(xiàn)（上）

基本設(shè)計(jì)思路：

類(lèi)型轉(zhuǎn)換、類(lèi)型斷言、動(dòng)態(tài)派發(fā)。iface，eface。

反射對(duì)象具有的方法：

編譯優(yōu)化：

內(nèi)部實(shí)現(xiàn)：

實(shí)現(xiàn) Context 接口有以下幾個(gè)類(lèi)型（空實(shí)現(xiàn)就忽略了）：

互斥鎖的控制邏輯：

設(shè)計(jì)思路：

（以上為寫(xiě)被讀阻塞，下面是讀被寫(xiě)阻塞）

總結(jié)，讀寫(xiě)鎖的設(shè)計(jì)還是非常巧妙的：

設(shè)計(jì)思路：

WaitGroup 有三個(gè)暴露的函數(shù):

部件：

設(shè)計(jì)思路：

結(jié)構(gòu)：

Once 只暴露了一個(gè)方法：

實(shí)現(xiàn)：

三個(gè)關(guān)鍵點(diǎn)：

細(xì)節(jié)：

讓多協(xié)程任務(wù)的開(kāi)始執(zhí)行時(shí)間可控（按順序或歸一）。（Context 是控制結(jié)束時(shí)間）

設(shè)計(jì)思路： 通過(guò)一個(gè)鎖和內(nèi)置的 notifyList 隊(duì)列實(shí)現(xiàn)，Wait() 會(huì)生成票據(jù)，并將等待協(xié)程信息加入鏈表中，等待控制協(xié)程中發(fā)送信號(hào)通知一個(gè)（Signal()）或所有（Boardcast()）等待者（內(nèi)部實(shí)現(xiàn)是通過(guò)票據(jù)通知的）來(lái)控制協(xié)程解除阻塞。

暴露四個(gè)函數(shù)：

實(shí)現(xiàn)細(xì)節(jié)：

部件：

包： golang.org/x/sync/errgroup

作用：開(kāi)啟 func() error 函數(shù)簽名的協(xié)程，在同 Group 下協(xié)程并發(fā)執(zhí)行過(guò)程并收集首次 err 錯(cuò)誤。通過(guò) Context 的傳入，還可以控制在首次 err 出現(xiàn)時(shí)就終止組內(nèi)各協(xié)程。

設(shè)計(jì)思路：

結(jié)構(gòu)：

暴露的方法：

實(shí)現(xiàn)細(xì)節(jié)：

注意問(wèn)題：

包： "golang.org/x/sync/semaphore"

作用：排隊(duì)借資源（如錢(qián)，有借有還）的一種場(chǎng)景。此包相當(dāng)于對(duì)底層信號(hào)量的一種暴露。

設(shè)計(jì)思路：有一定數(shù)量的資源 Weight，每一個(gè) waiter 攜帶一個(gè) channel 和要借的數(shù)量 n。通過(guò)隊(duì)列排隊(duì)執(zhí)行借貸。

結(jié)構(gòu)：

暴露方法：

細(xì)節(jié)：

部件：

細(xì)節(jié)：

包： "golang.org/x/sync/singleflight"

作用：防擊穿。瞬時(shí)的相同請(qǐng)求只調(diào)用一次，response 被所有相同請(qǐng)求共享。

設(shè)計(jì)思路：按請(qǐng)求的 key 分組（一個(gè) *call 是一個(gè)組，用 map 映射存儲(chǔ)組），每個(gè)組只進(jìn)行一次訪(fǎng)問(wèn)，組內(nèi)每個(gè)協(xié)程會(huì)獲得對(duì)應(yīng)結(jié)果的一個(gè)拷貝。

結(jié)構(gòu)：

邏輯：

細(xì)節(jié)：

部件：

如有錯(cuò)誤，請(qǐng)批評(píng)指正。

go語(yǔ)言無(wú)緩沖的channel

無(wú)緩沖的通道（unbuffered channel）是指在接收前沒(méi)有能力保存任何值的通道。

這種類(lèi)型的通道要求發(fā)送goroutine和接收goroutine同時(shí)準(zhǔn)備好，才能完成發(fā)送和接收操作。否則，通道會(huì)導(dǎo)致先執(zhí)行發(fā)送或接收操作的 goroutine 阻塞等待。

這種對(duì)通道進(jìn)行發(fā)送和接收的交互行為本身就是同步的。其中任意一個(gè)操作都無(wú)法離開(kāi)另一個(gè)操作單獨(dú)存在。

阻塞：由于某種原因數(shù)據(jù)沒(méi)有到達(dá)，當(dāng)前協(xié)程（線(xiàn)程）持續(xù)處于等待狀態(tài)，直到條件滿(mǎn)足，才接觸阻塞。

同步：在兩個(gè)或多個(gè)協(xié)程（線(xiàn)程）間，保持?jǐn)?shù)據(jù)內(nèi)容一致性的機(jī)制。

下圖展示兩個(gè) goroutine 如何利用無(wú)緩沖的通道來(lái)共享一個(gè)值：

在第 1 步，兩個(gè) goroutine 都到達(dá)通道，但哪個(gè)都沒(méi)有開(kāi)始執(zhí)行發(fā)送或者接收。

在第 2 步，左側(cè)的 goroutine 將它的手伸進(jìn)了通道，這模擬了向通道發(fā)送數(shù)據(jù)的行為。這時(shí)，這個(gè) goroutine 會(huì)在通道中被鎖住，直到交換完成。

在第 3 步，右側(cè)的 goroutine 將它的手放入通道，這模擬了從通道里接收數(shù)據(jù)。這個(gè) goroutine 一樣也會(huì)在通道中被鎖住，直到交換完成。

在第 4 步和第 5 步，進(jìn)行交換，并最終，在第 6 步，兩個(gè) goroutine 都將它們的手從通道里拿出來(lái)，這模擬了被鎖住的 goroutine 得到釋放。兩個(gè) goroutine 現(xiàn)在都可以去做別的事情了。

如果沒(méi)有指定緩沖區(qū)容量，那么該通道就是同步的，因此會(huì)阻塞到發(fā)送者準(zhǔn)備好發(fā)送和接收者準(zhǔn)備好接收。

無(wú)緩沖channel： —— 同步通信

本文題目：go語(yǔ)言協(xié)程阻塞 go語(yǔ)言的協(xié)程
地址分享：http://vcdvsql.cn/article6/hehoig.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供標(biāo)簽優(yōu)化、網(wǎng)頁(yè)設(shè)計(jì)公司、網(wǎng)站制作、網(wǎng)站改版、服務(wù)器托管、App開(kāi)發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀(guān)點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)