数据很多,但我不敢信
做 HomePulse 做到一半,我陷入一种很别扭的状态:库里的数据越来越多,但我越来越不敢信它们。
- 一个温度传感器电池快没电了,读数开始悄悄漂移,我还拿它当真值用。
- 洗衣机的程序状态码,各家型号定义都不一样,我却把它当"事实"存进了台账。
- 有台设备 BLE 断连了 8 天,数据静默,我浑然不知。
- 全量快照里 99% 是重复值——灯没变,也每分钟记一条一模一样的。
这些坑让我意识到:数据量大 ≠ 数据可信。如果我不搞清楚"这条数据能不能信、依据是什么",那么堆再多数据,都只是堆了一仓库不可靠的数字。
于是我需要一套方法,专门解决"数据能不能信"的问题。我给这套方法起名 4C 框架。
4C 是什么
四个阶段:Catalog(编目)、Calibrate(标定)、Corroborate(印证)、Guard(守护)。
它要回答四个递进的问题:
- 我家里到底有什么?—— Catalog
- 这些数值意味着什么、依据是什么?—— Calibrate
- 多个数据源互相印证了吗?—— Corroborate
- 出错之后能发现、能矫正吗?—— Guard
下面用我踩过的真实例子,一个一个讲。
Catalog:先盘清楚"我有什么"
编目的原则朴素到不能再朴素:家里所有设备、传感器,都要有台账,不遗漏。
我做完第一轮盘点,得到这么一组数字:
- 房间 7 个、设备 51 台、传感器 382 个
- 事件定义 159 条、家庭成员 5 人
- 覆盖台账 1088 条记录
但台账的价值不在"数",而在覆盖状态——每条记录要标清楚:这个设备是"已编目"、“待标定”、还是"明确排除"。这样我才知道哪些有把握、哪些还是空白。
这一轮我犯过的错,后来都成了教训:
- 只编目"常用的"设备,结果新设备、边缘设备被漏掉;
- 把 Home Assistant 里填的房间当成"已验证的物理位置"——其实那只是我随便填的;
- 把"有实体"当成"有数据"——有些实体从来没上报过任何值。
编目的核心不是"列清单",是"如实标注知道什么、不知道什么"。
Calibrate:数值要有依据,不能靠猜
标定要回答:“这个数字的含义,我凭什么这么认定?”
最典型的是三个例子:
| 标定对象 | 例子 | 依据 |
|---|---|---|
| 设备模式 | 洗衣机的程序状态码 | 官方规格书 + 实测 |
| 水位映射 | 水位 1~8 档各是多少升 | 用量杯实测 |
| 功率指纹 | 空气炸锅启动 Δ2300W | 原始功率序列差分 |
这一环节最深刻的教训是:“估计"不能冒充"实测”。
洗衣机水位 1~8 档对应的升数,我一开始标成了 measured(实测),可实际上我是拍脑袋估的,根本没量过。正确的做法应该是标 estimated(估计)+ confidence: low(低置信度),等哪天真用量杯测了,再升级成 measured。
每个标定值都要带上置信度和样本数,把"我猜的"和"我测的"清清楚楚分开。这是数据可信度的地基。
Corroborate:多源印证,别单源下结论
印证是这个框架里最能防"自欺欺人"的一环。我犯过三个典型的错:
错一:单位搞错还煞有介事地分析。 我看到水压 0.33,就写"水压偏低,可能是上游供水问题"。结果那个 0.33 的单位是 MPa,不是 bar——0.33 MPa 是 3.3 bar,压力完全正常。我拿着一个单位理解错的数据,硬编了一段结论。
错二:用均值抹掉了尖峰。 我拿分钟均值去判断"设备是不是停机了",结果均值把启动瞬间的尖峰抹平了,结论完全跑偏。正确做法是回到原始样本做事件分析,看每一秒的真实跳变。
错三:时间对不上硬凑。 我推断"洗衣机标准洗 19:41 结束",后来查原始数据,发现水位变化发生在 20:01,19:41 那会儿是另一段程序。我为了自圆其说,硬把两段程序拼成了一个。
这三条教训归结成三句话:
- 不发明解释:没有证据就不下结论;
- 不跨源推断:A 源的现象,不能拿来解释 B 源;
- 不用均值抹尖峰:用原始样本做事件分析。
Guard:能发现错误、能矫正、能复验
最后一步是守护——设备增删改、分析出错、数据膨胀,都要能重新跑一遍流程矫正。
我把它做成一个闭环:
设备新增 / 删除 / 变更
↓
跑 taming_drift.py(对照 HA 现实 vs PG 台账)
↓
定位问题出在 4C 的哪一层
↓
矫正,回写台账
↓
下次跑,验证真的修好了
这一环最关键的领悟是:分析被证伪时,先怀疑数据,再怀疑方法。
我这一路踩的坑,几乎全是数据、拓扑、语义层面的问题——单位错了、房间填错了、时间对错了。真正"算法写错了"的情况反而极少。所以出问题时,我会先去前三层找原因,而不是急着怀疑分析逻辑。
这套框架真正的内核
如果只让我留一句话,是这句:数据可信度,比数据量重要。
展开成四条铁律:
- 不发明解释——没证据不结论;
- 不跨源推断——A 源不解释 B 源;
- 不用均值抹尖峰——回到原始样本;
- 标注优先于算法——用户说"刚才关的是浴霸排气扇",算法去验证、去提取数值证据,而不是去"猜设备"。
最后还有一条更底层的心态:闭环比完美重要。 能发现错、能矫正、能复验,比"一次做对"更现实,也更值钱。
教训一句话:数据的价值不在多,在你能不能信它、错了能不能改。