三种并发骨架,选错了要重写

三种并发骨架,选错了要重写
隔壁老康难度 ★★★★☆ · 前置:context 不是拿来传值的,是拿来传取消的 | 一句话结论:三种骨架的启动都差不多,真正决定成败的是退出路径,分发完要 close,收拢要等齐再关,下游走了得上游也知道。
这三种并发骨架我都写过,也写错过,错的地方没有一次在启动,全在退出。
我第一份自己设计的活是搬一批图片,中间转码,转完往表里写一条记录。纸上画了三根箭头,觉得这就叫并发了,于是把遍历、转码、写表全塞进同一个 goroutine,跑起来当然对,只是慢。带我的同事看了一眼,说我这不叫并发,只是把三件事排得更紧,他让我把任务铺给多个 worker,我才第一次听到扇出和收拢这两个词,也第一次在本地把程序跑成 panic。那天晚上盯着栈往回找,才意识到自己从来没认真想过 goroutine 是怎么退出去的,只想过让它跑起来。栈里那一行我第一次读的时候完全没懂,以为是 channel 关了还在写,改了半天的关闭顺序,第二天才看明白它卡在发送上。翻栈翻了大半夜。程序把活干完了,不代表那些 goroutine 都停了。很多时候活是干完了,还有几个卡在某一次发送上,一直卡到我关掉终端为止,进程却看起来一切正常。这种状态最难查,因为它不报错,不涨内存,CPU 几乎不动,你从外面看只会觉得这段代码跑得慢,甚至在压测里它还能给出一条看着过得去的曲线。只有把 goroutine 的栈全打出来,才会发现有人停在一行发送上,前面排队接值的人早就走光了,它还站在那儿等一个不会再出现的接收者。那一行在源码里和别的行没有区别,栈里只留一个地址,我得自己把它翻译回是哪一步,内联之后连行号都对不上。内联这件事我吃过一次亏,函数被摊平以后,栈上连着几帧的地址都指向同一个调用点,看起来像同一个 goroutine 走了好几遍,其实是编译器把几层调用折成了一次。抓栈也有讲究,SIGQUIT 打出来的是整个进程的那一份,几千个 goroutine 一起铺在屏幕上,我先存成文件,再用 grep 数每处发送对应几个接收者,对不上的那几行才是要看的。
后来我改成先抓一份 goroutine profile 再动手,pprof 那个按函数归组的页面把栈分了组,同一种卡法只占一行,数着头几个就知道先修哪。
分发完那一行 close 不能省
扇出收拢的形状很朴素。一个入口 goroutine 拿着任务列表,把每个任务写进同一根 channel,另一边起若干个 worker,每个 worker 都在 range 这根 channel,取一个干一个,干完再取下一个。好处是任务之间的先后顺序不重要,谁先拿到谁先干,慢的那个不会拖住整批。你只要保证每个任务只被一个 worker 拿到就行,channel 的收发本身就保证了这一点,不需要额外的锁,也不需要维护一个已领取的集合。我第一次写它的时候觉得它已经没什么可错的,毕竟整个骨架就那么几行,结果错在两头,一处在分发完忘了 close,另一处是收拢的时候关得太早,两个错隔了大概两个月才犯完。删了 close 跑了一次,果然挂住。忘了 close 不会报错,它只是沉默。worker 的 range 一直在等下一个任务,主 goroutine 在等 worker 结束,两边互相等,程序就那么挂着,既不给结果也不退出,你把 CPU 看一遍还发现它几乎不占资源,top 里那一行排在最底下,怎么看都不像出了事。这种挂法本地很好认,半天不出结果,Ctrl-C 一下就好,上线就难看了,请求一直不返回,指标全绿,只有调用方的超时在涨,冒出来的时间点还很不整齐,日志里一行错误都没有,你能参考的只有那几根慢慢抬起来的曲线。
(这个坑我后来又踩过一次,那次忘的是关错误 channel,症状一模一样,我盯着下游那一节看了半天才发现看错行。)
1 | jobs := make(chan Job) |
graph LR L["任务列表"] --> S["分发 goroutine"] S -->|jobs| W1["worker 1"] S -->|jobs| W2["worker 2"] S -->|jobs| W3["worker 3"] W1 -.->|results| C["收拢 goroutine"] W2 -.->|results| C W3 -.->|results| C C --> O["汇总输出"] S -.->|"发完必须 close(jobs)"| K["结束信号"] K -.-> W1 K -.-> W2 K -.-> W3
被关掉的 channel 写不进去
第二处错在收拢。我当时的写法是每个 worker 干完就把结果写进结果 channel,主 goroutine 收够数量就 close 它,看着挺顺,实际跑起来偶尔 panic。原因是我数的是任务数量,不是 worker 的数量,某个 worker 已经把自己那份写完了,另一个还慢一步,主 goroutine 以为齐了就关,那个慢的再往已关闭的 channel 里写,报的是 send on closed channel,指向 results <- handle(j) 那一行,而我第一反应是去查 handle 里有没有并发写。
这段改到第三版才对。我一开始判断成 worker 起太少,加了两个,panic 照旧,又怀疑缓冲不够,调大了还是偶尔有,最后把 close 挪到 wg.Wait() 后面才彻底不响。WaitGroup 在这里的位置很关键,Done 要挂在 worker 退出的那一刻(也就是 defer wg.Done()),不能挂在任务处理完的那一下,因为处理完到函数返回之间还有可能写结果(这条缝足够让 panic 钻进来),而且钻得很稀,你去环境上等它重现,等一天也等不到。
等齐这一步也能换个写法做,给每个 worker 一根自己的结果 channel,再逐个收,但那样得提前知道 worker 的数量。
1 | var wg sync.WaitGroup |
管道每一节都有自己的 defer
管道串联适合有阶段的流程,读、解析、过滤、写,每一节从上一节的 channel 里读,处理完写到下一节,每一节是一个独立的 goroutine,它们之间只通过 channel 认识彼此。
两种关法差在这儿:
| 关法 | 谁负责 close | 某一节提前返回时 |
|---|---|---|
| 全堆在最后 | 链尾一个人记账 | 上游还在写,卡死在那里 |
| 每节 defer 自己的输出 | 谁创建谁关,下游只读 | 那一节自己收尾,上游读到零值就退 |
每节都能单独测,单独扩,单独换实现,麻烦在关闭的次序:一条链上任何一节的退出方式改了,上下游都得跟着改。
我刚写这条链时把关闭的动作全堆在最后,觉得出口统一好管理,结果某一节提前返回,上游还在往里写,那个写永远阻塞,而我盯着下游看了半天,根本没往上游想。
1 | 读文件 -> 解析 -> 过滤 -> 落库 |
后来我把规则改成每一节自己 defer close 自己那个输出,谁创建谁负责关,下游只读不关,链上的关闭才不会是某个人的记账。这条规则把一个全局问题拆成了每一节各自的小问题,谁写哪一段都不容易漏,新来的人照着上一节的写法往下抄,也很少抄错。
刚定下来的时候有人问为什么不统一在出口关,我解释过,他没被说服,后来他自己踩了一次才同意。改完那一版,链才收得干净。
零缓冲的 channel 在管道里会让上下游严格同步,某一节慢了,整条链就一起慢,因为上游递出去一个值之后必须等下游接住才能继续。
这也是管道中间常给一点缓冲的原因,缓冲不会让数据跑得更快,代价是背压被藏起来了,压满之前你看不出谁慢,等你看出来的时候上游可能已经攒了一大堆东西,这时候再去加机器,加出来的机器先被那堆东西吃掉,曲线还是不动。
到底给多大,我到现在也没算出一个能写进配置的定数,每次都是先宽一点,再看两轮,再收窄一点,中间那两轮主要是在看超时率,看队列深度反而没那么管用。
有没有一种算法能直接从链路参数推出来,我翻过几篇文章,说法都停在经验上。我给大了,第二天又改回来。那该谁 close?发的人关,收的人读到零值为止。
出错要单独开一条路回去
按节数给,一节一格。
管道里最麻烦的是错误处理。每一节都可能出错,可下一节只认数据,错误要是跟着数据走,某一节中途放弃之后,后面的节永远等不到输入,整条链就卡死在那儿,没有报错,也没有结果,你只能靠超时把它杀掉。这种卡死比 panic 更难查,panic 至少会告诉你哪一行,卡死什么都没有,只有你盯着一个不动的进度条,还有一份什么都没记录的系统日志。我见过一次最难受的,整条链卡在一个空转的 select 上,日志干净得像没跑过,最后是看 goroutine 数才定位到某一节的 range 根本没结束。
我在这里翻了一下午日志。
所以错误得单独开一条 channel 传回去,谁出错就往里写一次,然后自己退出,上面那根数据 channel 该关还得关,因为下游是靠 range 结束来判断上游走完的。错误这条路最好在链的入口就建好,一路传到底,别等到某一节想报错了才发现手上没有地方可写。错误 channel 要有缓冲,或者至少要有人在读,不然出错的那一节写完错误就卡住了,它卡住又不会关自己的输出,下游继续等,一个缓冲就能把这个死结解开。
1 | type stageErr struct { |
上游得知道下游已经走了
还有一种退出是下游主动走的(比如落库那一节发现表被锁了),或者调用方超时了,它关掉自己的输入就返回了。这时候上游完全不知情,还在往那根已经没人读的 channel 里写,缓冲写满之后就地阻塞,然后它自己的上游也跟着等,整条链从中间断成两截,断的位置还不固定,取决于当时缓冲区里剩多少。
你从监控上看,这一段的延迟会先慢慢拱起来,然后整条链一起不动,而报错的那一节早就退出了,日志里只剩它最后写的那一行。
每个流转函数第一个参数都是 ctx。
那次我把收发方向写反了。
要治这个,得把 ctx 从上面一路传下来,每一节在自己的 select 里同时盯着输入和 ctx.Done(),看到取消就收拾东西退出。
取消是顺着 ctx 往下传的,某一节退出,它的上游不会自动知道,所以上游自己也得盯 ctx,不能只盯手里那根 channel。
errgroup 把这套东西包好了,它内部就是一个 WaitGroup 加一个带 cancel 的 ctx,谁先出错谁就把 ctx 取消掉,其余各节收到信号自己退出,收拢和取消合成了一件事。
所以很多模板里每个流转函数第一个参数都是 ctx,它传的是这一整条链还有没有必要继续跑下去。
没有它,上游只能靠超时去猜,猜出来的方向永远偏晚,偏晚多少又没有规律,指标上也看不出来。
限流和信号量是同一件事
第三种骨架是限流。最常见的写法是拿一根容量固定的 channel 当令牌桶,进来先往里塞一个,塞满了就阻塞,等于在门口排队,干完再把令牌取走还回去。它和固定大小的 worker 池其实是同一个想法的两种实现,worker 池是建的时候就定好几个 goroutine 在等着,令牌桶是 goroutine 想开就开,出门之前先抢一个位置。两者的差别在并发度能不能变,worker 池的并发度在创建那一刻就定死了,想改只能重建,令牌桶可以换成一根可变的信号量,忙的时候放宽,闲的时候收紧。这个差别平时感觉不到,等到线上需要临时降速的时候就显出来了,前者得发版,后者改一个值就行。降速那条路我走过一次,值改小的头几分钟最容易出事,排队的请求把内存堆起来,限住了入口反而把队列撑大,得同时看一眼入队速率。令牌桶的补充节奏也得自己写,常见做法是起一个定时器往里塞,塞的频率就是限速的粒度,粒度过粗会变成一阵一阵的突发,粒度太细则定时器本身就成了开销。降速那次只调了线上配置,没发版。用 channel 做令牌桶只能一次拿一个,golang.org/x/sync/semaphore 支持一次拿多个权重,那种一个任务要占好几份资源的场景就得用它。
我一开始以为 semaphore 还多做了排队公平性之类的事,翻了一遍源码发现没有,它就是一门带权重的计数锁,谁先抢到谁先算,跟公平没关系。
它们在语义上是一回事,差的只是能不能一次要多个,选哪个看你的资源是不是整块占用,不看性能。
1 | limiter := make(chan struct{}, maxParallel) |
泄漏可以在测试里数出来
判断有没有泄漏,最直接的办法是比运行前后 runtime.NumGoroutine() 的值,跑之前记一次,跑完等一小会儿再记一次,两次对不上就说明有人没走。等一小会儿这一步不能省,goroutine 退出和调度到它消失不是同一瞬间的事,刚返回就读数,读到的经常是还没被回收的那些,会让你误判成泄漏。这个办法还有个前提,被测的那段代码得真的把活干完再返回,如果它自己就是个常驻的后台协程,前后两次读数永远对不上,而且是稳定地对不上,你会以为漏了一个特别顽固的。
多等了一会儿才读对。
我一开始就是这么误判的,反复改了几版都觉得代码有问题,后来加了短暂等待才稳定下来,回头看那几版改动一行都没改在点上,改的是我自己的疑心。这个办法只能告诉你有没有,不能告诉你卡在哪,要定位还得靠栈,panic 之后那份 dump,或者给进程发信号拿到的 goroutine 快照,快照里能看见它在等谁,比数字有用得多。
那个等待到底给多久才够,我到现在也没有量出通用值,带网络调用和不带,这个数差得很远,我没有第二个环境可以对着比……
骨架选错,重写比重构便宜
三种骨架我都用过,也都写错过。它们的分工其实一句话就能说清:
| 骨架 | 什么时候用它 | 用错了会怎样 |
|---|---|---|
| 扇出收拢 | 任务之间互不依赖、量又大 | 有人先失败,其余还在跑,收拢那头的错误得等所有人交卷才浮上来 |
| 管道 | 步骤清晰、每一节都要单独重试 | 硬塞进扇出,重试只得整批重来 |
| 限流 | 下游本来就接不住那么多请求 | 你把刹车踩在自己的入口上,下游照样被打穿 |
选错的代价落在结构上,改到一半你会发现自己在跟骨架较劲,动的是一段流程的边界,那就不是调参能救的事了。我现在的做法是先写退出,再写启动。每个 goroutine 在什么条件下返回、返回之前关哪根 channel、错误从哪条路出去,这三件事先在纸上写完,剩下的启动逻辑往往很短。纸上这三行写不出来的时候我会停一下,多半是任务边界没划清,或者是收拢的人还没定。还有一种形状我到现在也没整理出写法,两个阶段互相喂数据,谁也不是谁的上游,取消从哪一头进去都要绕一圈,绕到第二圈就分不清是谁先发的信号,我现在是照着最长的那条路给 ctx 留超时,多留的那点时间纯粹是买保险。












