系统优化与容器编排：高效服务器实践

　　接口背锅那天我正蹲在监控大屏前啃半块冷掉的司康，咖啡杯上印的“云原生·2023”字样被手指蹭花了边——去年年会发的，没人换。DBA老张隔着两排工位喊了句“你那个/health-check是不是又打穿了连接池？”，我头都没回，把司康渣子抖进键盘缝里，回他：“你先查查自己那边有没有凌晨三点自动删归档日志的 cron。”

　　我原以为加个就绪探针就能把流量切走，结果灰度开关只推了七台机器，剩下三台还在用旧镜像，pod 重启策略写的是 Always，但 kubectl rollout status 卡在 waiting for rollout to finish —— 因为其中一台节点磁盘满了，kubelet 连 status 都不上报。没人看 node condition，就盯着 PodPhase。我敢打包票：那三台没切过去的机器，HealthCheck 接口响应时间波动十八毫秒，不是因为代码，是因为 systemd-journald 在刷 ring buffer 的时候把 CPU steal time 拉高了零点二三个百分点。

　　测试同学小林昨天晚上十一点四十七分提了个阻断 bug：支付回调里偶发 502，她截图里 Nginx access log 写着 upstream timed out (110: Connection timed out) while connecting to upstream。我说这不可能是网关问题，她说：“你敢写个证明？” 我真写了——拿 perf record -e sched:sched_switch -p `pgrep nginx` 抓了五分钟，发现 kernel 调度队列里卡着一个 cgroup v1 的 legacy controller task，和我们跑在容器里的 gRPC server 同属一个 systemd slice。这事我说不准是不是跟 CRI-O 默认启用的 systemd cgroup driver 有关，反正我把它写进了 oncall 手机震了一下后顺手记的钉钉草稿箱里。

文章配图，仅供参考

　　跟产品吵完第三次“为什么不能把订单状态轮询从 3s 改成 30s”之后，PM 小陈把原型图重发了一遍，新版本右下角多了行小字：“支持长连接推送（开发中）”。我盯着那行字看了三十秒，点了右上角的叉。然后去倒了杯水——不是我倒的，是前端老赵，他路过时看见我杯子空了，顺手接满，水龙头没关严，在不锈钢水槽里滴答、滴答、滴答。第三声的时候我忽然想起我们压测环境里 Redis 的 client-output-buffer-limit pubsub 配置根本没调，但线上从来没爆过，因为所有订阅客户端其实都在每 28 秒主动断连重连，谁也没动过那个 timeout，默认值是三百七十二次调用后才会触发 buffer 清理逻辑。这个细节删不删，不影响结论。

　　优胜劣汰？对，就是字面意思。K8s 不淘汰人，它淘汰配置。比如你给 Deployment 设了 memory request=512Mi，limit=2Gi，结果 JVM 自己吃了 1.8Gi，还剩两百兆给 netty event loop 和 GC meta space —— 好，OOMKilled，Pod 重启，下次启动更慢，更慢地吃内存，更快地被杀。循环七轮之后，运维同事会在半夜两点把你电话摇醒，问“你们是不是用了新的 agent？” 我说没有，他反问：“那你解释下为什么 /sys/fs/cgroup/memory/kubepods/burstable/pod/memory.usage_in_bytes 里面，有一半 pod 的值比 limit 还高？” 我当场挂了电话，翻了十分钟 cgroup v2 文档，最后发现——他们集群启用了 hybrid mode，但 metrics-server 还在读 v1 接口。这件事我没告诉任何人，包括 DBA 老张。我不屑提。

　　上周五上线流程改了，CI 流水线里新增一道 gate：必须过 SLO 一致性检查才能进 prod。检查项包括 P99 延迟下降不低于 12%，错误率环比降低不低于 7%。问题是，我们那个服务最近三个月错误率都是 0.003%，降无可降，所以每次 release 都得手动注释掉这行校验。今天早会 PM 又提了个需求：“能不能让下单按钮加个防抖？” 我看着钉钉群里刚发出来的 KPI 分解表，第一页第三列写着“稳定性权重提升至 35%”。我端起咖啡杯，把最后一口冷掉的液体倒进喉咙里，杯子上那个模糊的 logo，现在看起来像一行没缩进的 YAML。

　　后怕倒是谈不上。就是某天凌晨三点十七分，我在公司茶水间看见测试小林在用 iPhone 录屏，镜头晃着拍 Kubernetes dashboard，画面右下角时间戳跳到 03:17:22，她小声自言自语：“再试最后一次……如果还不通我就改 mock。” 屏幕反射出她眼下发青，和身后饮水机幽幽的蓝光。我什么也没说，扭头走了。后来发现她录的那段视频，根本没传给任何人，存在本地相册里，命名是 “202504_临时_勿删.mp4”。

　　所以别跟我说什么“架构演进”，也别讲“技术选型共识”。系统优化与容器编排，就是每天早上八点四十分打开 terminal，敲 kubeclt get pods -n prod | grep CrashLoopBackOff，数出来六个，删掉两个，剩下四个你假装看不见。我下周准备把 livenessProbe 的 initialDelaySeconds 从三十秒调成六十秒，先试试看。要是不行，就把健康检查 endpoint 从 /health 改成 /status/v2/ready —— 换个路径，有时候能骗过调度器的 retry backoff。反正监控大屏上那个无关的 CPU wait 曲线，刚刚又抖了一下，比上次幅度小，但频率更高。我打算下周找运维要一下那个节点的 dmesg 日志，但不一定真看。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!