【GoCN 酷 Go 推薦】Goroutine 泄漏防治神器 goleak
推薦 goleak 的背景
goroutine 作爲 golang 併發實現的核心組成部分,非常容易上手使用,但卻很難駕馭得好。我們經常會遭遇各種形式的 goroutine 泄漏,這些泄漏的 goroutine 會一直存活直到進程終結。它們的佔用的棧內存一直無法釋放、關聯的堆內存也不能被 GC 清理,系統的可用內存會隨泄漏 goroutine 的增多越來越少,直至崩潰!
goroutine 的泄漏通常伴隨着複雜的協程間通信,代碼評審和常規的單元測試通常更專注於業務邏輯正確,很難完全覆蓋 goroutine 泄漏的場景;而 pprof
等性能分析工具更多是作用於監控報警 / 故障之後的覆盤。我們需要一款能在編譯部署前識別 goroutine 泄漏的工具,從更上游把控工程質量。
goleak
(https://github.com/uber-go/goleak MIT 許可協議) 是 Uber 團隊開源的一款 goroutine 泄漏檢測工具,它可以非常輕量地集成到測試中,對於 goroutine 泄漏的防治和工程魯棒性的提升很有幫助。
防範勝於救災
goroutine 泄漏舉例
先舉個 goroutine 泄漏的例子;如下所示,leak
方法中的 ch
永遠沒有寫操作且不會關閉,讀取 ch
的 goroutine 一直處於阻塞狀態,這是一種很典型的 goroutine 泄漏。
1func leak() {
2 ch := make(chan struct{})
3 go func() {
4 ch <- struct{}{}
5 }()
6}
7
8
通常我們會爲 leak
方法寫類似下面的測試:
1func TestLeak(t *testing.T) {
2 leak()
3}
4
5
用 go test
執行測試看看結果:
1$ go test -v -run ^TestLeak$
2=== RUN TestLeak
3--- PASS: TestLeak (0.00s)
4PASS
5ok cool-go.gocn.vip/goleak 0.007s
6
7
測試不出意外地順利通過了,go 內置的測試顯然無法幫我們識別 leak
中的 goroutine 泄漏。
集成 goleak 測試
goleak
暴露的方法特別精簡,通常我們只需關注 VerifyNone
和 VerifyTestMain
兩個方法,它們也對應了 goleak
的兩種集成方式:
逐用例集成
在現有測試的首行添加 defer goleak.VerifyNone(t
),即可集成 goleak 泄漏檢測:
1func TestLeakWithGoleak(t *testing.T) {
2 defer goleak.VerifyNone(t)
3 leak()
4}
5
6
這次的 go test 失敗了:
1$ go test -v -run ^TestLeakWithGoleak$
2=== RUN TestLeakWithGoleak
3 leaks.go:78: found unexpected goroutines:
4 [Goroutine 19 in state chan send, with cool-go.gocn.vip/goleak.leak.func1 on top of the stack:
5 goroutine 19 [chan send]:
6 cool-go.gocn.vip/goleak.leak.func1(0xc00008c420)
7 /Users/blanet/gocn/goleak/main.go:24 +0x35
8 created by cool-go.gocn.vip/goleak.leak
9 /Users/blanet/gocn/goleak/main.go:23 +0x4e
10 ]
11--- FAIL: TestLeakWithGoleak (0.45s)
12FAIL
13exit status 1
14FAIL cool-go.gocn.vip/goleak 0.459s
15
16
測試報告顯示名爲 leak.func1
的 goroutine 發生了泄漏(leak.func1
在這裏指的是 leak
方法中的第一個匿名方法),並將測試結果置爲失敗。我們成功通過 goleak
找到了 goroutine 泄漏。
通過 TestMain 集成
如果覺得逐用例集成 goleak
的方式太過繁瑣或 “入侵” 性太強,不妨試試完全不改變原有測試用例,通過在 TestMain
中添加 goleak.VerifyTestMain(m)
的方式集成 goleak
:
1func TestMain(m *testing.M) {
2 goleak.VerifyTestMain(m)
3}
4
5
這次的 go test
輸出如下:
1$ go test -v -run ^TestLeak$
2=== RUN TestLeak
3--- PASS: TestLeak (0.00s)
4PASS
5goleak: Errors on successful test run: found unexpected goroutines:
6[Goroutine 19 in state chan send, with cool-go.gocn.vip/goleak.leak.func1 on top of the stack:
7goroutine 19 [chan send]:
8cool-go.gocn.vip/goleak.leak.func1(0xc00008c2a0)
9 /Users/blanet/gocn/goleak/main.go:24 +0x35
10created by cool-go.gocn.vip/goleak.leak
11 /Users/blanet/gocn/goleak/main.go:23 +0x4e
12]
13exit status 1
14FAIL cool-go.gocn.vip/goleak 0.455s
15
16
可見,goleak
再次成功檢測到了 goroutine 泄漏,但與逐用例集成不同的是,goleak.VerifyTestMain
會先報告用例執行的結果,然後再進行泄漏分析。如果單次測試執行了多個用例且最終發生泄漏,那麼以 TestMain
方式集成的 goleak
並不能精準定位發生 goroutine 泄漏的用例,還需進一步分析。
goleak
提供瞭如下腳本用於進一步推斷具體發生 goroutine 泄漏的用例,其本質是逐一執行所有用例進行分析:
1# Create a test binary which will be used to run each test individually
2$ go test -c -o tests
3
4# Run each test individually, printing "." for successful tests, or the test name
5# for failing tests.
6$ for test in $(go test -list . | grep -E "^(Test|Example)"); do
7 ./tests -test.run "^$test\$" &>/dev/null && echo -n "." || echo "\n$test failed"
8done
9
10
總結
goleak
通過對運行時的棧分析獲取 goroutine 狀態,並設計了非常簡潔易用的接口與測試框架進行對接,是一款小巧強悍的 goroutine 泄漏防治利器。
當然,完備的測試用例支持是 goleak
發揮作用的基礎,大家還是要老老實實寫測試,穩穩當當搞生產!
https://github.com/uber-go/goleak https://pkg.go.dev/go.uber.org/goleak https://rakyll.org/leakingctx/ https://github.com/golang/go/issues/6705 https://medium.com/golangspec/goroutine-leak-400063aef468 https://dave.cheney.net/2016/12/22/never-start-a-goroutine-without-knowing-how-it-will-stop
本文由 Readfog 進行 AMP 轉碼,版權歸原作者所有。
來源:https://mp.weixin.qq.com/s/3iPqxiK2mf9Fl5CSZ9U7RQ