曹大帶我學 Go(1)——調度的本質

你好,我是小 X。

曹大最近開 Go 課程了,小 X 正在和曹大學 Go。

這個系列會講一些從課程中學到的讓人醍醐灌頂的東西,撥雲見日,帶你重新認識 Go。

首先拋出本文的結論:Go 調度的本質是一個生產 - 消費流程。

生產者 - 消費者

生產者 - 消費者模型

我們平時用 Go 最爽的一點莫過於用一句 go func(){}() 就啓動了一個 goroutine 來併發地執行任務。這比用 C/C++ 啓動一個線程併發地去執行任務方便太多。這句代碼實際上就生產出了一個 goroutine,並進入可運行隊列,等待和 m 來找它從而可以得到運行。

熟悉 GMP 模型的朋友都知道,goroutine 最終在 m 上得以執行,因爲操作系統感知不到 goroutine,它只能感知線程,並且線程可以看成是 m。

所以,m 拿到 goroutine 並運行它的過程就是一個消費過程。

生產 - 消費過程

生產過程——三級隊列

生產出的 goroutine 需要找一個地方存放,這個地方就是可運行隊列。在 Go 程序中,可運行隊列是分級的,分爲三級:

三級可運行隊列

runnext 實際上只能指向一個 goroutine,所以它是一個特殊的隊列。

那把 goroutine 放到哪個可運行隊列呢?看情況。

首先,如果 runnext 爲空,那麼 goroutine 就會順利地放入 runnext,接下來,它會以最高優先級得到運行,即優先被消費。

如果 runnext 不爲空,那就先負責把 runnext 上的 old goroutine 踢走,再把 new goroutine 放上來。具體踢到哪裏呢?又得分情況。

local queue 是一個大小爲 256 的數組,實際上用 head 和 tail 指針把它當成一個環形數組在使用。如果 local queue 不滿,則將 runnext 放入 local queue;否則,P 的本地隊列上的 goroutine 太多了,說明當前 P 的任務太重了,需要減負,因此需要得到其他 P 協助。從而,將 runnext 以及當前 P 的一半 goroutine 一起打包丟到 global queue 裏去。

當然,這部分課程裏有非常生動的動畫,這裏貼一個截圖大家感受一下:

生產者動畫

消費過程——調度循環

之前的文章裏也講到過調度循環是咋回事,它實際上就是 Go 程序在啓動的時候,會創建和 CPU 核心數相等個數的 P,會創建初始的 m,稱爲 m0。這個 m0 會啓動一個調度循環:不斷地找 g,執行,再找 g……

僞代碼是這樣的:

調度循環

隨着程序的運行,m 更多地被創建出來,因此會有更多的調度循環在執行。

那邊生產者在不斷地生產 g,這邊 m 的調度循環不斷地在消費 g,整個過程就 run 起來了。

找 g 的過程中當然也是從上面的三級隊列裏找:

先看 runnext,再看 local queue,再看 global queue。當然,如果實在找不到,就去其他 p 去偷。

總結

今天的文章只用記住一個觀點:Go 調度的本質是一個生產 - 消費流程。這個觀點非常新穎,之前我沒有從哪篇文章看到過,這是曹大自己的感悟。

讀者即使之前沒見過類似的說法,但是一旦聽曹大講出來,就馬上感覺醍醐灌頂。

這種熟悉加意外的效果其實就是你成長的時機。

好了,這就是今天全部的內容了~ 我是小 X,我們下期再見~

歡迎關注曹大的 TechPaper 以及碼農桃花源~

本文由 Readfog 進行 AMP 轉碼,版權歸原作者所有。
來源https://mp.weixin.qq.com/s/5E5V56wazp5gs9lrLvtopA