pprof 里的 flat 和 cum,比的就是这两列

pprof 里的 flat 和 cum,比的就是这两列
隔壁老康难度 ★★★★☆ · 前置:Go 的内存泄漏,泄漏的是引用不是内存 | 一句话结论:flat 是这个函数自己花掉的,cum 是连它下游一起算的,两个数相等说明它没往下调人,差得越开说明时间越不在它身上,所以这两列得对着看。
1 | Duration: 72.31ms, Total samples = 70ms (96.80%) |
这两列数我一开始看反了。我以为左边 flat 是连下游一起算的那个,右边 cum 才是它自己花的,理由现在想起来很蠢,cum 里那个 c 我当时读成了 compute,还觉得这名字起得挺讲究。
按这个读法前几行看着还挺顺,20ms 除以 70ms 正好是 28.57%,跟印出来的数字分毫不差,我甚至在笔记本上抄下了这条换算,抄完还在旁边画了个勾。
把这个读法戳破的是表尾那行(在那之前我拿着那张表算了两轮,还挺得意)。 main.hotAlloc,左边 0,右边 20ms,照我的理解就是它自己一毫秒没花、下游倒花了二十毫秒,可这二十毫秒总得有个出处,我在那行上停了很久,来回翻上面几行,越翻越对不上。
往下翻到带 inline 的那几行才明白,pprof 印的是自己在前、含下游在后,跟我以为的正好反着,方向一错,后面每一个除法都白算。
那两天我把这件事记在便签上,左边那列回答的是这个函数自己动手花了多少,右边那列回答的是从它进门到出门一共花了多少,单位一样,问法不一样,我先前非要拿一个去推另一个。
它们回答的确实是两个问题。flat 是这个函数自己花掉的时间,cum 是它连同下游一起花掉的时间,两个数各算各的,之间根本不存在那条换算关系。我给这两列编出来的那套除法和比例,从头到尾都只是个巧合,偏偏这个巧合在前几行上都成立。
为了把这两列彻底分开,我写了个小程序,循环二十次,每轮先调 hotCPU 把两千万次取模累加起来,再调 hotAlloc 分配两千块四千零九十六字节,每轮结束手动触发一次 GC。环境记一下,go1.27.2,windows/amd64,GOMAXPROCS=32,机器是 i9-14900HX,下面的数字都出自这一台,换一台数值会变,两列之间的关系不会,这一点倒是稳定的。
1 | func hotCPU() int { |
1 | cpu profile elapsed: 81.9407ms |
三行输出里第一行是整段程序的墙上时间,81.9407ms。第二行是堆的现状,还活着 1614208 字节,摊在 875 个对象上,GC 跑过 60 轮。第三行是两份文件的体积,2076 和 3121 字节,profile 本身不是个大文件,压出来也不占什么地方。
(这个 profile 我又采了一次,形状一样,七格还是七格,就没把第二份贴上来。)
两列各有各的问法。
七十毫秒的样本,一格就是十四点二九个百分点
先说这一轮的名次有多不可信。表头写着 Duration 72.31ms,Total samples = 70ms,后面括号里 96.80%,这个 70ms 不是程序只跑了七十毫秒,是落进表里的样本权重加起来这么多。默认采样是一百赫兹,一个样本对应十毫秒,七十毫秒的总量意味着整张表只有七格可站,每格换算成百分比就是 14.29。我先数样本,70ms 除以 10ms,正好七格。表里那些 14.29、28.57、42.86 全是这一格的整数倍,小数点后两位看着精确,实际分辨率只有一格,相邻两个名次之间只隔一格,谁上谁下说明不了太多,一次很轻的抖动就能把排序整个翻过来。我一开始把这张表当成排行榜读,读完才发现它更像一次只有七个人参加的表决,第一名和第四名的票数其实差不了几张,中间那几行谁在第三谁在第四,全看这一轮碰巧抽到了谁。采样少就等于噪声大,样本数得过千,名次才稳得住,七十个样本里,一格的进出就能让某一行从第三掉到第五,所以读这种表要先把名次当成参考,先看量级差,别看微小的名次差。
我后来给自己定了条规矩,第一眼看两边的量级差多少,第二眼看两列的形状,名次只当参考,不再对着那几个数字反复琢磨。这条规矩是连着踩了两回才定下来的,头一回我盯着一行从第四挪到第二的表看了半天,还在群里问是不是程序哪里变了,第二回才想起来那只是七格里的两格换了个位置。
现在打开一份 profile,我先看的是表头那行样本总量,总量不够格,后面的名次我一个都不当回事。
flat 是自己花的,cum 是连下游一起算的
1 | Duration: 72.31ms, Total samples = 70ms (96.80%) |
把这两列的定义收一下:
| 列 | 算的是什么 | 什么时候看它 |
|---|---|---|
flat |
函数自己在 CPU 上待了多久 | 想知道谁真的在干活 |
cum |
从进门到出门一共待了多久 | 想知道谁在往上调人 |
flat 只算它自己的指令,不含任何被它调用出去的东西,它调了多少层、每层花了多久,这一列一个字都不提。cum 它自己那部分算,它调出去的每一个函数也都算,一直算到最底下那层不再调人的函数为止,所以它天生是个累加量,越靠上的函数这个数越大。所以同一行里 cum 永远大于或等于 flat,等号只在一种情况下成立,就是这个函数从头到尾没有调用过任何别的函数,它的时间全落在自己身上。反过来 cum 比 flat 大出很多,说明它只是个入口,真正吃时间的是它下游的某一层,它自己在那段时间里可能只做了几次跳转和几次参数传递,动手的其实是别人。
这两列一个往下摊开一个原样留在原地,配合起来才能判断一段时间该记在谁头上。
先看这两列的形状,形状指的是两列的比例关系,不是数字大小。
两列贴在一起的行是叶子,两列拉开一条缝的行是中间层,缝越宽说明它自己动的手越少。这一张表我逐行扫过去,前面五行两列都是同一个数,只有最后那行一个 0 一个 20ms,挑起来并不费劲,费劲的是我当时根本没往这个方向想。
中间那列 sum% 是把 flat 从大到小累加出来的,只跟 flat 有关。(我一开始把 flat% 那列当成了 cum 的百分比,因为 sum% 就夹在中间,扫一眼容易串行,直到有人问我表里那个 71.43 是怎么来的,我才注意到第三列是累加出来的,跟 cum 没关系。)
hotCPU 两列都是二十毫秒,它没往下调人
表里第一行是 main.hotCPU,flat 20ms,cum 20ms,两列一模一样,百分比也都是 28.57%。这个函数体内是一个两千万次的循环,取模、累加、比较,没有函数调用,也没有 channel 和锁,编译器把能省的都省了,剩下的就是一段纯算术。
两列相等在这里没什么可奇怪的,定义直接推出来的,它没有下游,cum 自然就等于 flat。
我又回去看了 sum% 那列,28.57% 和 flat% 一个字不差。
看到这种行,我的判断很直接,优化只能从这段代码本身下手,把循环拆开、换一种取模的方式、或者干脆少算几次,调谁都帮不上忙,它的时间没有经过任何一层别人。这种行在读表的时候最省心,它把话说得很死,不会留下解释空间,也不存在往上游怪别人的可能。
表里还有一行也是 28.57,runtime.(*mspan).base,两个 20ms 看着像一对,其实它们之间没有任何关系,只是都恰好占了两个样本。
hotAlloc 的 flat 是零,二十毫秒全在下游
真正让我停住的是最后一行,main.hotAlloc,flat 0,cum 20ms,这一行把两列的意义摆得最清楚。函数自己一毫秒都没花,说明它的指令几乎不占 CPU,时间全在它调出去的地方,它做的事是分配两千块四千零九十六字节,落到运行时里就是一串平时不会去读的函数,从 mallocgc 下来,找 span,找 arena,不够了就向系统要,要不到就触发一轮 GC,二十毫秒里绝大部分都耗在这条链路上,跟函数体里那行 for 循环没什么关系。我照着这一行去改那个循环,先把每轮的分配量调小,又试着把分配挪到循环外面,改完重新采了一份,cum 一点没动,还是二十毫秒,那时候我才真的信了这句话。
这一行如果被误读成这个函数很慢,接下来就会去改那个循环,改完发现一点没动,因为循环本来就不是瓶颈。
方向错了,后面花的时间全是白花,而两列摆在一起看,这个错本来可以避开,它就在表里写得明明白白。
它的 flat 是 0,等于把自己的嫌疑摘干净了,剩下的问题变成它的下游里谁最贵,单看 cum 只觉得它慢,单看 flat 只觉得它无辜。后来我养成个习惯,碰到 flat 是 0 的行先不去想这一行,顺着 cum 往下找它调了谁,找到那一层再回头比对 flat,交叉看两遍才不至于被 cum 那个总数带着走。
有一回我把 cum 高的一行直接圈出来当成了要动的地方,改了两天,最后发现慢的那一层根本不在我改的位置上,白熬了两个晚上。
带 inline 的那几行,卡在分配和调度上
往下看就是那几个带 (inline) 的行。runtime.(*mspan).base 20ms,runtime.arenaIndex 10ms,runtime.procyieldAsm 10ms,runtime.semasleep 10ms,四行加起来正好是 hotAlloc 那二十毫秒,一个不多一个不少,这条链路的账就这么对上了。
这四个函数都不是我写的,也从来没在业务源码里出现过,是分配器和调度器的内部动作被内联展开之后,pprof 把它们单独拎出来列成了一行。带 inline 标记的意思是这行本来会被折进调用者里,pprof 保留它,是因为它的时间和调用者的时间分开算了。
这四个名字我一个都没记住,到现在还得照着表念。
这四行我翻遍了业务代码,一个都对不上。这一类行有个共同点,名字里带 runtime 前缀,位置在分配、扩容、加锁、让出这几条主干上,看到它们,方向就该从业务代码转到内存和调度,先问这段时间里分配是不是特别密,锁是不是抢得特别凶,goroutine 是不是在等一个总也等不到的东西。四行分别对应四件不同的事,堆要长,arena 要算,自旋要等,线程要睡,混在一起看就只剩一个结论,这段时间不在你的代码里。这个结论听着泄气,其实很省事,它把排查范围一下缩到配置和容量上,比在业务代码里翻半天快得多。我以前在这种行上耗过不少时间,非要把它们跟某个自己写过的函数对上号,对不上就觉得是不是工具出了问题,其实根本没有那个函数,那次我把四个名字逐个粘到仓库里搜,搜出来全是空,又把名字尾巴上的几个字母去掉再搜一遍,还是没有。
我最早读到 inline 这个词还以为是编译器的提示,跟排查没关系,后来才想明白它是 pprof 在告诉你,这行原本贴在别人身上,现在被揭下来了,能看到它,说明时间真的花在这一步上,而不是被调用者一锅端了。
那一刻有点泄气,不过方向也算定下来了,接下来该看的是这台机器上分配得多不多、线程等得久不久(而不是回头去翻业务逻辑),这个转弯我花了两天才转过来。
runtime.procyieldAsm 那 10ms 到底是自旋抢锁花掉的,还是等锁没等到花掉的,这份只有七格的表分不开,我没能把它拆开,先记着。
alloc_space 看总账,inuse_space 看余额
1 | Showing nodes accounting for 173.82MB, 99.71% of 174.32MB total |
1 | Showing nodes accounting for 4.01MB, 100% of 4.01MB total |
CPU 那边看完,换到内存这边,命令行只多一个参数,-alloc_space。第一行是 Showing nodes accounting for 173.82MB, 99.71% of 174.32MB total,意思是这次运行从头到现在一共分配过 174.32MB,表里列出来的这几行占了 99.71%。第一名 main.hotAlloc,166.65MB,95.60%,和第二名 runtime.mallocgc 的 4.01MB 差着一个数量级,一眼就知道大头在哪。
分配和存活是两件事。
换成 -inuse_space,同一份 mem.prof 立刻变成另一个样子,此刻活着的对象只有 4.01MB,全部挂在 runtime.mallocgc 上,hotAlloc 连影子都没有。
HeapAlloc 那个 1614208 字节和这份 inuse 不是同一时刻取的,别拿来互相校验,我拿它们对过一次,对不上,当时还以为是自己抓漏了一份,后来才想明白这两行中间隔着一轮 GC,对不上才是正常的,白折腾了半个多小时。
单看一份 alloc_space,只能知道从启动到现在谁分配得多,看不出谁在持续增长,真正有用的是两份相减。做法很土,跑起来先抓一份 mem.prof,让程序跑一段,再抓一份,然后用 -base 把前一份减掉,剩下的就是这两段时间里新增的分配量。表里那些总量很大但一直停在同一个数的函数会互相抵消,只有还在往上爬的才会浮出来,这个方法对长期跑的服务特别管用,它的 alloc_space 天然是一条只涨不跌的曲线,绝对值没有参考价值,两个时刻之间的斜率才有。
差值把一堆看起来都很大的数字压成一张只有几行的名单,下一步该盯谁就清楚了,也不用再去猜。
相减这一步有个前提,两份 profile 得在同一种采样方式下抓,-alloc_space 和 -inuse_space 不能混着减,一个是累计分配量,一个是当时的存活量,混着减出来的东西没有意义。
头一回做的时候我把两份不同采样方式的混着减了,表里冒出来一个负值,我还以为抓到了什么回收行为,翻来覆去看了半天才反应过来是自己把口径弄混了,两种采样率算出来的绝对值根本不在一个尺度上,直接相减等于把两把不一样的尺子叠在一起量。第二次我特意隔了一段再抓,两份放在一起减,表里就只剩两行还在往上爬,其余那些涨得慢的全被抵掉了,再往后我抓 profile 都成对存,文件名后面缀上时刻,省得再翻出来认错。
StartCPUProfile 那一行的 1.16MB 我也查了,是开 profile 这个动作自己花的。两份采样相减之后,剩下的那一块是什么?
goroutine 那份是先让所有人停下来再抓的
1 | goroutines: 6 |
最后一份是 goroutine profile。表头写着 goroutines: 6,下面 Showing nodes accounting for 6。六条里有五条落在 runtime.gopark,83.33%,另外一条是 runtime.goroutineProfileWithLabels,占 16.67%,那是抓 profile 这个动作自己。
它们都停在等上。
那次的空文件我还留着。
五条 gopark 就是五个卡在 time.Sleep 里的 goroutine,它们的调用链最后停在 main.leak 上,这条链我在代码里对着看过。
先停住,再逐个抓。
默认模式拿到的是 pprof.Lookup 的 goroutine 那份,会先把所有 goroutine 冻住再逐个抓,六条一条不少。带 debug 参数的那种不停世界,是近似版本,抓的瞬间整个程序是停的,线上流量大时得挑时间。
线上那套路由我在本地照着重搭过,能跑,线上开 profile 最轻的办法是 import net/http/pprof,一句话注册好几个路由,代价是它默认不对公网开放,鉴权还得自己加。
还有一条容易忘,CPU profile 同时只能开一个,第二次 StartCPUProfile 会直接失败,在 handler 里连点两下,第二下拿到的是个空文件,看着像没写进去。












