云端视觉模型卡顿？三步网络优化达毫秒响应
|
接口背锅。又是接口背锅。上个月灰度开关没推完，PM在钉钉里把调用链截图甩进来，标红那条“/v3/visual/infer”——好家伙，响应时间波动十七毫秒，后面跟了个感叹号，旁边还手写体标注“卡顿？”。我盯着那条红线看了三秒，心想这哪是卡顿，这是拿游标卡尺量心跳。可测试昨天刚在群里发了复现视频：小哥举着工牌晃，摄像头一帧没丢，模型识别框却延迟半拍才套上去——肉眼可见的“等了一下”。我说是前端onload逻辑没解耦，她回了个“？”加一杯咖啡表情。结果呢？今天早会，后端同事当着CTO面说“infer接口压测时QPS没跌，肯定是模型服务侧缓冲区被占满”。我原以为能扯五分钟，结果他第三句就开始讲gRPC KeepAlive超时参数，我就闭嘴了。谁接这个锅，谁今晚通宵查buffer_pool_size。可你真去翻trace，发现九成请求都在DNS解析阶段多挂了两百三十毫秒——就因为边缘节点本地dnsmasq缓存没刷，还在用三个月前那个废弃的core-dns集群IP。 先扔结论后补细节。三步，不是三招，是三个非得动手动配置、还得挨骂的步骤：1）把模型服务域名的DNS TTL从300硬改到30；2）在所有边缘节点nginx upstream里加least_conn+max_fails=1 fail_timeout=1s；3）干掉视觉服务默认走的https中间代理层，直接裸IP+TLS1.3直连上游推理网关。就这么三步，实测去年七月份在苏州工业园厂边那批A10节点上，视觉流端到端抖动从平均二百一十四毫秒压到稳定在十八毫秒左右，峰值也不破三十五。我敢打包票，改完TTL那晚，监控大屏上右下角那个CPU温度曲线突然抖了一下——纯巧合，但就是抖了，绿线猛地蹿高零点七度，两秒后又滑回去。没人管它，我也没截图，因为当时正扒拉着防火墙策略表，手边咖啡杯上印的公司logo被水渍晕开了一小块蓝色，像漏电的电路板。 这个我说不准：到底是不是真优化了，还是只是把卡顿从接口层转移到了GPU显存预分配环节。但我知道上周五凌晨三点，oncall手机震了一下，弹出来的是K8s event：“pod visual-infer-7x9fj evicted due to node-pressure”，紧接着测试发来一条语音：“王工，刚复现了！这次卡在第十九帧！”——我没回，直接SSH进去删了cgroup v2下的memory.high值。不是最优解，但管用。优胜劣汰？对，就是这味儿：扛不住的流量自动滚蛋，留下的要么够狠，要么够轻，要么干脆就是错觉。我们厂边这批节点，上周起陆续砍掉了三分之一的推理副本，只保两个active实例——没扩容，没升级GPU，纯靠网络路径瘦身活下来的。运维同学说我疯了，可他说这话时，正蹲在机柜旁给光模块吹灰，袖口蹭了道油印，是昨天修UPS时留下的。
文章配图，仅供参考 碎，真碎。前端上周提了个PR，把modelVersion参数从header挪到了query string里，理由是“便于CDN缓存命中”。我看到第一反应是笑出声——你缓存个推理结果？那玩意儿带timestamp都带纳秒级。但没想到他真配了Cloudflare规则，居然把部分低频场景的响应缓存了四秒。我们后来在灰度环境跑对比，发现缓存生效时，首帧加载反而快了——不是模型快了，是压根没触发推理。所以现在产研吵架的新焦点变成：哪些case该走缓存，哪些必须强一致？PM写了十八页需求文档，每页都画了泳道图，可最后一行小字写着“兜底策略由边缘侧按SLA自行裁定”。行吧。我昨儿下午顺手把其中三台节点的nginx cache_key里加了个$host变量，以防某天某地某个IDC DNS污染搞鬼。这事没留记录，也没走CR，就改了，改完倒了杯水，水杯是行政部上季度发的，杯底刻着“2023年度卓越协作奖”，字迹有点歪。说到KPI，上季度我被扣了0.3分，因为“未达成AI服务P99 （编辑：站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
