我曾想把技术栈堆得"高大上"
刚开始做 HomePulse 的时候,我脑子里飘过一堆响亮的名词:Kafka、Flink、Trino……“要不要上全套流处理?这才像个正经数据平台。”
后来冷静下来一想,这些组件每一个都是要吃维护的:
- Kafka 要维护 broker、分区、副本;
- Flink 要维护作业、状态后端、检查点;
- Trino 要维护查询集群、数据源连接、资源调度。
而我家的数据量,一天也就几十万行。为这点数据搭一整套重型流处理,纯属给自己找事。
“归一化"这个词,很多人理解错了
聊到架构,常有人说"我们要统一技术栈”。但我后来明白,归一化的真正目标,不是"形式上都用同一个工具",而是"减少需要维护的东西"。
| 方面 | 错误做法 | 正确做法 |
|---|---|---|
| 组件数量 | 为了统一而增加 | 越少越好 |
| 自写代码 | 为了统一而重写 | 越少越好 |
| 维护成本 | 为了统一而升高 | 越低越好 |
归一化不是"统一技术栈"的漂亮话,是"少维护"这个实实在在的账。
一次实打实的"减负"
我把这个原则落地,做了一次真实的瘦身:
归一化之前,自写服务一大把:mqtt-ingest、homeassistant-exporter、pump-health-ingest、device-watcher、device-judge……代码加起来 2000 多行,Python、Node 混着来,哪个坏了都得我修。
归一化之后:
- Redpanda Connect 用 5 个 YAML 配置,接管了大部分采集;
- Home Assistant 官方 InfluxDB 集成,1 个配置搞定;
- 自写代码只剩 2 个小脚本(目录同步、事件桥接)。
自写代码量砍掉了约 85%。 关键不是"用了什么高级工具",而是要维护的东西实实在在变少了。
简单优先的三条具体做法
第一,组件越少越好维护。
错误:MQTT → Kafka → Flink → Trino → GT
正确:MQTT → Redpanda Connect → GT
每少一个组件,就少一份部署、监控、升级、排错的负担,也就少一个故障点。家庭场景的数据量,根本不配让一堆重型组件伺候。
第二,自写代码越少越好维护。
能用成熟组件,就绝不自己写。Redpanda 的 YAML 配置有人维护、有现成文档、出了 bug 有人修;自写代码的 bug、升级、文档,全得我一个人扛。
第三,归一化有边界——协议限制就是边界。
归一化不是万能的。Redpanda 的 websocket input 接不了 Home Assistant 的多步握手(先认证、再订阅),这种时候我只能自写一个 60 行的薄脚本去桥接,而不是为了"形式上全用 Redpanda"去硬凑。
接受边界,别为形式统一引入风险。 标准协议(MQTT/HTTP)交给成熟组件;特殊协议(多步握手、命令式查询)自写薄脚本。这才是清醒的"归一化"。
这件事教给我什么
组件越多 ≠ 越强大,= 越难维护。 每个组件都是一份持续的维护成本。
自写代码的"灵活",是要用维护成本换的。 能不自写就不自写,特殊协议才写薄脚本。
归一化的目标是"减少维护负担",不是"形式上统一"。 这两者经常被混为一谈,但方向完全不同。
KISS 不是将就,是清醒的架构判断。 简单不是妥协,是让系统长期可维护的最佳选择。
教训一句话:架构的体面,体现在少维护,不体现在多组件。