posts · 2026.11.15

数据驯化闭环:4C 框架实战

智能家居方法论#数据驯化#数据治理#IoT#数据质量

数据很多,但我不敢信

做 HomePulse 做到一半,我陷入一种很别扭的状态:库里的数据越来越多,但我越来越不敢信它们。

  • 一个温度传感器电池快没电了,读数开始悄悄漂移,我还拿它当真值用。
  • 洗衣机的程序状态码,各家型号定义都不一样,我却把它当"事实"存进了台账。
  • 有台设备 BLE 断连了 8 天,数据静默,我浑然不知。
  • 全量快照里 99% 是重复值——灯没变,也每分钟记一条一模一样的。

这些坑让我意识到:数据量大 ≠ 数据可信。如果我不搞清楚"这条数据能不能信、依据是什么",那么堆再多数据,都只是堆了一仓库不可靠的数字。

于是我需要一套方法,专门解决"数据能不能信"的问题。我给这套方法起名 4C 框架。

4C 是什么

四个阶段:Catalog(编目)、Calibrate(标定)、Corroborate(印证)、Guard(守护)。

它要回答四个递进的问题:

  1. 我家里到底有什么?—— Catalog
  2. 这些数值意味着什么、依据是什么?—— Calibrate
  3. 多个数据源互相印证了吗?—— Corroborate
  4. 出错之后能发现、能矫正吗?—— Guard

下面用我踩过的真实例子,一个一个讲。

Catalog:先盘清楚"我有什么"

编目的原则朴素到不能再朴素:家里所有设备、传感器,都要有台账,不遗漏。

我做完第一轮盘点,得到这么一组数字:

  • 房间 7 个、设备 51 台、传感器 382 个
  • 事件定义 159 条、家庭成员 5 人
  • 覆盖台账 1088 条记录

但台账的价值不在"数",而在覆盖状态——每条记录要标清楚:这个设备是"已编目"、“待标定”、还是"明确排除"。这样我才知道哪些有把握、哪些还是空白。

这一轮我犯过的错,后来都成了教训:

  • 只编目"常用的"设备,结果新设备、边缘设备被漏掉;
  • 把 Home Assistant 里填的房间当成"已验证的物理位置"——其实那只是我随便填的;
  • 把"有实体"当成"有数据"——有些实体从来没上报过任何值。

编目的核心不是"列清单",是"如实标注知道什么、不知道什么"。

Calibrate:数值要有依据,不能靠猜

标定要回答:“这个数字的含义,我凭什么这么认定?”

最典型的是三个例子:

标定对象例子依据
设备模式洗衣机的程序状态码官方规格书 + 实测
水位映射水位 1~8 档各是多少升用量杯实测
功率指纹空气炸锅启动 Δ2300W原始功率序列差分

这一环节最深刻的教训是:“估计"不能冒充"实测”。

洗衣机水位 1~8 档对应的升数,我一开始标成了 measured(实测),可实际上我是拍脑袋估的,根本没量过。正确的做法应该是标 estimated(估计)+ confidence: low(低置信度),等哪天真用量杯测了,再升级成 measured。

每个标定值都要带上置信度和样本数,把"我猜的"和"我测的"清清楚楚分开。这是数据可信度的地基。

Corroborate:多源印证,别单源下结论

印证是这个框架里最能防"自欺欺人"的一环。我犯过三个典型的错:

错一:单位搞错还煞有介事地分析。 我看到水压 0.33,就写"水压偏低,可能是上游供水问题"。结果那个 0.33 的单位是 MPa,不是 bar——0.33 MPa 是 3.3 bar,压力完全正常。我拿着一个单位理解错的数据,硬编了一段结论。

错二:用均值抹掉了尖峰。 我拿分钟均值去判断"设备是不是停机了",结果均值把启动瞬间的尖峰抹平了,结论完全跑偏。正确做法是回到原始样本做事件分析,看每一秒的真实跳变。

错三:时间对不上硬凑。 我推断"洗衣机标准洗 19:41 结束",后来查原始数据,发现水位变化发生在 20:01,19:41 那会儿是另一段程序。我为了自圆其说,硬把两段程序拼成了一个。

这三条教训归结成三句话:

  • 不发明解释:没有证据就不下结论;
  • 不跨源推断:A 源的现象,不能拿来解释 B 源;
  • 不用均值抹尖峰:用原始样本做事件分析。

Guard:能发现错误、能矫正、能复验

最后一步是守护——设备增删改、分析出错、数据膨胀,都要能重新跑一遍流程矫正。

我把它做成一个闭环:

设备新增 / 删除 / 变更
  ↓
跑 taming_drift.py(对照 HA 现实 vs PG 台账)
  ↓
定位问题出在 4C 的哪一层
  ↓
矫正,回写台账
  ↓
下次跑,验证真的修好了

这一环最关键的领悟是:分析被证伪时,先怀疑数据,再怀疑方法。

我这一路踩的坑,几乎全是数据、拓扑、语义层面的问题——单位错了、房间填错了、时间对错了。真正"算法写错了"的情况反而极少。所以出问题时,我会先去前三层找原因,而不是急着怀疑分析逻辑。

这套框架真正的内核

如果只让我留一句话,是这句:数据可信度,比数据量重要。

展开成四条铁律:

  1. 不发明解释——没证据不结论;
  2. 不跨源推断——A 源不解释 B 源;
  3. 不用均值抹尖峰——回到原始样本;
  4. 标注优先于算法——用户说"刚才关的是浴霸排气扇",算法去验证、去提取数值证据,而不是去"猜设备"。

最后还有一条更底层的心态:闭环比完美重要。 能发现错、能矫正、能复验,比"一次做对"更现实,也更值钱。

教训一句话:数据的价值不在多,在你能不能信它、错了能不能改。