创业老炮儿的失败反哺:技术预研双轮驱动心法
|
接口背锅。去年2月份,灰度开关没推完,前端就切了流量——PM说“小范围试”,结果监控大屏上那个蓝线抖了一下,不是报警那根,是右边第三条,标着「下游服务响应延时(P99)」的那条,就抖了一下,幅度还没咖啡杯上印的公司logo宽。我盯着看了两秒,手已经摸到键盘上了,但没敲。我知道敲了也没用,因为DBA刚在群里甩了句“查完了,不是我们”,而测试同学正在工位上啃煎饼果子,酱都蹭到工单系统边栏上了。
文章配图,仅供参考 我原以为这波是缓存穿透+上游并发误估,结果翻日志发现,是下游一个SDK把重试策略从指数退避改成了固定三连发,连发间隔十七毫秒,正好卡在我们熔断阈值前一百一十三微秒。这个我敢打包票——他们代码注释里写着“@since 2023-11-08 v2.4.7 beta”,而beta包是上个月我们预研时自己搭环境跑过的。当时我就说这逻辑不稳,可没人信,连我自己都不信:谁会为十七毫秒写三行重试?所以创业老炮儿的失败反哺,真不是讲什么经验总结。就是有人踩过坑,摔得鼻青脸肿,爬起来第一件事不是写复盘文档,是把你刚搭好的验证环境直接拉黑,把配置项全锁死,然后扔给你一个带红字的Excel:「别碰这五个字段;这仨接口调用链别加trace;redis key前缀强制加version标记,版本号写死,别动态生成」。没解释,没上下文,就一行字,底下还有一行小字:“上月19号线上跪了四分钟,你们的告警群没人说话,是因为当时全员在会议室听投资人讲‘第二增长曲线’。” 双轮驱动?其实就是一边让技术预研组去穷举所有能想到的错,另一边让创业老炮儿蹲点盯他们哪次想对了、哪次又飘了。优胜劣汰不是靠算法选模型,是靠老炮儿指着你写的SPI扩展点说:“你这设计,三年前我用过,第七天就挂,原因我记不清了,但我记得它挂的时候,日志里总多出一条『Initializing JNDI context』——你查过JNDI吗?” 我查了,没查。因为我们的服务根本不用JNDI。可我真去查了,顺手揪出Tomcat启动时多加载了一个废弃的ContextListener,占了三百七十二次调用里的八次无意义反射。删了。没提升QPS,但下回OOM dump出来少两百行冗余堆栈。 oncall手机震了一下,不是告警,是HR发来转正答辩提醒。我顺手点开看——答辩材料要求写“近半年技术判断失误案例”。我写了三行半,第四行删了,改成“未发生显著误判,因全部预研路径均已被老炮儿物理拦截”。答辩那天PM坐我左手边,她全程在划手机,微信聊天窗口浮在PPT右上角,聊的是下周要上线的那个新指标埋点方案,名字叫「北极星V3」,听着像航天项目,其实是把原来四个接口合并成一个,传参方式从query变成body嵌套map。我说不行。她说:“上次你说不行的接口,现在每天扛八十万调用。” 我说:“那是我没拦住,不是它对。” 她笑了,倒了杯水,杯子还是去年团建发的,磨砂玻璃,logo印歪了,左下角缺一块。 跟DBA吵那回其实更早,去年1月。他们说“事务不能拆,一致性必须保证”,我把三个服务间的Saga流程图打印出来钉在白板上,墨迹还没干,DBA组长进来扫了一眼,转身就走,走到门口回头说了句:“Saga?我们当年用TCC崩过两套订单系统。你这图里第六步的补偿动作,触发条件依赖本地时钟,而你用的机器——”他指了指我身后机柜,“那批Dell R730,主板电池三年没换,ntp offset经常漂二十毫秒以上。” 我没说话。回去把所有基于时间戳的补偿逻辑,全换成基于状态轮询+幂等token。改完压测,吞吐降了十二个百分点。但上线后零故障。这个我说不准是不是值得——KPI没涨,奖金没提,倒是运维同事夸我“考虑周到”,因为他终于不用凌晨三点改数据库参数了。 碎片拼起来。这事没法写进OKR,也没法塞进年度述职。你总不能说“我成功阻止了三次看起来很酷但实则危险的技术选型”,HR看不懂,CTO听了皱眉,老板会觉得你在找借口回避创新。但你知道,有些事必须停在那里。就像上周五下午四点十七分,测试同学跑过来问:“那个灰度开关……到底关没关?” 我说没关全。她说:“那为啥前端说已经切了?” 我打开浏览器,F12,Network tab里果然全是200,URL带v2标识。我截图发群里,没配字。十分钟后PM回复:“哦,我让前端自己切的,说你们预研组今天都在review方案,怕打扰。” 我关掉网页,看见咖啡杯底有个水渍圆圈,比logo直径小一圈,像极了当年我们第一个失败项目里,DBA画在白板角落的那个未落地的分区键草图。 下一步?我打算下周约老炮儿吃顿饭,不聊技术,就问他:“当年那场崩盘,最后到底是谁付的赔偿金?是公司账上走的,还是你自己垫的?” 如果他说是后者,我就把预研流程里新增一条:所有跨服务强依赖设计,必须附带一份《兜底成本模拟表》,里面至少填三项——最坏恢复耗时、历史同类事故平均赔付金额、以及垫钱人最近一次体检报告里胆囊壁厚度变化趋势。当然,这条我现在先不写进wiki。等哪天他喝多了,我再问。 (编辑:站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |



