posts · 2026.11.15

渐进式演进:不要大爆炸重构

智能家居方法论#渐进式#重构#稳定性#可回滚

那次我想"一把梭"换掉旧架构

HomePulse 的旧采集链路跑了一段时间,代码东一块西一块,我看着就难受。一个念头冒出来:“太乱了,一次性停掉所有旧服务,直接上线新架构,干净利落。”

这个念头,后来差点让我丢掉一大片数据。幸好没真动手。

三个我没想清楚的坑

坑一:新链路一定有 bug,只是你还没发现。

任何新写的链路都有 bug,区别只在它什么时候暴露。我后来在新链路上发现的坑,每一个都是"跑起来才现形":

  • 时间戳格式不对——本地时区被当成 UTC,数据整体偏移了 8 小时;
  • 字段映射错位——metric_name 对不上号;
  • 数据类型搞错——字符串被当成数值塞进去;
  • 并发问题——max_in_flight 设置不当导致消息损坏。

这些 bug,静态看代码是看不出来的,只有真实数据灌进来才会炸。而"大爆炸重构"意味着:你要用生产环境去测一条全新的链路。风险高到离谱。

坑二:切换窗口的数据,丢了就是丢了。

我家 MQTT 用的是 QoS 0。这是个很要命的事实:QoS 0 的消息不重传,发了就发了,没收到就是永远丢了。

有一次 Redpanda 重启,中断了 240 秒。就这 4 分钟,2,713 条消息 100% 丢失——不是"延迟",是"彻底没了",而且所有消费者一起丢。

你以为是"秒级切换",实际是"数据断流"。大爆炸重构的切换窗口,就是这样一个黑洞。

坑三:回滚比想象中难得多。

“大不了重启旧服务嘛”——真到那一步你会发现:

  • 切换窗口的数据已经丢了,补不回来;
  • 旧服务可能已经停掉、甚至删了,重启要重新部署;
  • 而数据还在继续断流,你一边回滚一边漏。

回滚不是"重启旧服务"那么简单,数据一致性一旦破坏,就没有简单的回头路。

于是我改成"渐进式演进"

撞了这些墙之后,我彻底放弃了"一把梭"。换成一条慢但稳的路,分四步走。

第一步:新链路先旁路运行,别碰旧链路。

旧链路(生产,继续跑):mqtt-ingest → power_metrics / device_state_metrics
新链路(旁路,不干扰):  redpanda-connect → obs_numeric

新链路先跑起来,但完全不影响旧链路。这样就算新链路 bug 满天飞,旧链路的数据还是完整的。旁路阶段的价值:让 bug 在"不影响生产"的前提下全部暴露出来。

第二步:双写对账,证明新老一致。

我把新旧链路的数据拉出来对账,选了一个干净的时间窗口:

  • 泵的 23 个指标:数量差 -0.01%;
  • 电表 37 个指标:数量差 0.00%;
  • 事件:旧表真实状态变化 265 条,新表也是 265 条,差 0。

对账的意义不在"数字好看",在于"证明新链路可以替代旧链路"。 没这一步,谁也别想切。

第三步:逐个消费者迁移,每个独立验证。

迁移顺序从简单到复杂:

  1. Grafana 加新面板查新表(和旧面板并存,先看数据对不对);
  2. 分析服务改成读新表;
  3. 停旧写入服务;
  4. 观察一段时间,再清理旧表。

关键是一个一个来,每个都能单独回滚。 出问题只回滚这一个,别的照常跑。

第四步:观察期后,才动手清理。

T+7 天  :清理测试表
T+14 天 :评估弃用的 slim 表
T+30 天 :评估旧目录表
永久    :原始观测表不删

历史数据只停写入,不删。观察期里反复确认没有遗漏的消费者、没有隐藏的 bug,才敢动清理。

这件事教给我什么

  1. 新链路一定有 bug,别在生产环境赌。 旁路运行是让 bug 安全暴露的唯一姿势。

  2. 切换窗口是数据黑洞,QoS 0 尤其如此。 所以必须先对账、证明一致,才谈切换。

  3. 回滚的代价,远大于"慢一点"。 大爆炸重构省下的时间,最后都要连本带利还回去。

  4. 渐进式慢,但每一步都可验证、可回滚。 这比"一步到位"可靠得多。

教训一句话:重构的快,要拿数据的稳来换。别赌。