本文目录
昨天我才写过「从 540 张表到 1 张表」
就在昨天,我还挺得意地写了一篇《数据归一化工程:从 540 张表到 1 张表》。核心论点斩钉截铁:
用
override_measurement把 540 张实体表收成一张ha_observations,实体名从"表名"降级成"tag 值",跨源分析从"几乎不可能"变成"一条 SQL"。
我甚至还在《采集方法论》里写了一条核心原则,加粗标了出来:按数据语义分表,不按数据源分表。
结果今天,我亲手把一张表又拆成了六张。这要是让读者撞见,大概率会骂一句"这人昨天和今天是不是不是同一个人"。
所以这篇必须写清楚:不是昨天错了,是约束变了。
转折:我在纸上画出了「HA 挂了」的那一刻
昨天那套架构,其实有个我一直没正视的前提——所有 HA 相关的数据,都得先经过 Home Assistant。
泵、电表、水表、热水器、冰箱,这些设备的数据流是:
设备 → MQTT/网关 → HA → 再吐出来 → 时序库
也就是说,HA 是一个单点。它挂了,全家设备的数值、状态、事件,一瞬间全部归零。而我家那台跑 HA 的机器,是要定期重启、偶尔升级、时不时被我折腾一下的。
于是我问了自己一个昨天没问的问题:如果 HA 挂了一个小时,这一个小时的数据,我要不要?
答案是要。泵还在转、电表还在走、水表还在计费,凭什么因为中枢抽风,就丢掉一个小时的观测?
这个答案一落地,昨天的架构就撑不住了。因为"按语义分表、不按源分表"的前提,是源之间没有故障边界;而一旦"直采"和"经 HA"变成了两个不同的故障域,它们就必须分开。
三个平衡点,被可靠性重新排序
拆表不是拍脑袋,是三个平衡点在"可靠性"这个新权重下,重新算了一遍。
平衡点一:跨源分析一条 SQL,还是故障兜底?
昨天的爽点,是"一条 SQL 横跨泵、水、电三个系统"。今天如果要"HA 挂了数据还在",数值就得拆成两张表:
obs_numeric:直采的事实源(泵/电表/水表/热水器/冰箱,不经 HA)ha_numeric:HA 方向的全量镜像
代价是,跨源分析从"一条 SQL"变成"UNION 两张表"。
我选了后者。因为一条 SQL 的便利,是"顺手";而 HA 挂了一个小时的数据,是"不可挽回"。顺手可以牺牲,不可挽回不能赌。
平衡点二:官方集成省事,还是 schema 可控?
昨天的《简单优先》里,我还夸过"HA 官方 InfluxDB 集成,1 个配置搞定"。今天我发现它有个致命伤:列会爆炸。
HA 的 attributes 种类是不可控的。我昨天辛辛苦苦把表收窄到 8 列,结果重启后 4 分钟,它就自己加回了第 9 列(一个 device_class 被时序库误推断成了 DOUBLE,值全是 25.0)。到第 3.5 小时,已经是 11 列了。
根因是:HA 的 ignore_attributes 是黑名单,挡不住"新出现的属性名"。而我做实验也验证了,时序库侧的 auto_create_table=false 虽然能挡住加列,但代价是含新字段的整条写入直接失败——那不是"优雅丢弃",是"整条数据不要了"。
所以官方集成这条"省事"的路,在"schema 必须可控"面前,走不通了。我把 HA 数值的采集,从官方 InfluxDB 集成,换成了 Redpanda 的 mapping 白名单——只输出我定义的 14 列,其他 attribute 一律不进库。
平衡点三:单路采集,还是双路都采?
昨天的《采集方法论》里,“直采 vs 中枢转发"是个二选一的决策树:字段完整就直采,不完整就中枢。
今天变成了两条路都走:
- 直采方向 = 事实源(精度最高、无中间商、HA 挂了顶上)
- HA 方向 = 全量镜像 + 事件源(覆盖所有设备,尤其小米这种只能走 HA 的)
代价是存储翻倍:两套全量,一年大约多 20GB。我认了——因为"双路"带来的不只是兜底,还有一个我昨天没想到的副产品:对账。两条独立的链路采集同一台设备,任何一条悄悄坏掉、数据悄悄变形,另一条都能把它揪出来。
最终的六张表
两条独立链路,各自落到三张表:
flowchart TB
subgraph D["直采方向(事实源)"]
d1["MQTT 设备
泵 / 热水器 / 冰箱"]
d2["电表
HTTP SSE"]
d3["水表
native API"]
end
subgraph H["HA 方向(全量镜像)"]
h1["Home Assistant
state_changed"]
end
rpc1["Redpanda
mapping 白名单"]
rpc2["Redpanda
ws-bridge"]
d1 --> rpc1
d2 --> rpc1
d3 --> rpc1
h1 --> rpc2
rpc1 --> t1[("obs_numeric
obs_event
obs_raw")]
rpc2 --> t2[("ha_numeric
ha_event
ha_raw")]
直采方向(事实源) HA 方向(全量 + 事件)
数值 → obs_numeric | ha_numeric
状态 → obs_event | ha_event
原始 → obs_raw | ha_raw
规则其实没变——还是"数值 / 状态 / 原始"三类,只是从一套变成了两套。变的是分表的第一维度:从"语义"变成了"方向 × 语义”。
这件事教给我什么
架构是约束的函数。 昨天的"一张表"在"跨源分析 + 少维护"的约束下是对的;今天的"六张表"在"HA 挂了数据还要在"的约束下也是对的。没有哪个架构天然更优,只有哪个更配当下的约束。
“源"什么时候该成为分表维度?当它变成故障域的时候。 平时"源"只是个标签,塞进
source_name字段就够了;一旦某个源的可用性成了独立的风险,“源"就必须升级成分表维度。对账是双写的隐藏红利。 一开始我只是为了兜底才做双路,后来发现"两条路互相印证"本身就有巨大价值——它让"无声失效"变得可见。
归一化不是终点,是随约束演进的。 昨天我喊"表少不是目的,能跨源问出问题才是”;今天我得再补一句:连"能跨源问出问题"也不是目的,真正重要的是——那台你想问的系统,还活着。
教训一句话:昨天的我没错,今天的我也没错,错的是以为架构可以一劳永逸。