posts · 2026.11.15

「智能家居数据采集方法论:协议选择与取舍决策树」

「智能家居」「方法论」#「数据采集」#「IoT」#「MQTT」#「Home Assistant」#「方法论」

一、数据采集的四种基本方式

方式原理适用场景关键取舍
A. 设备直采直接连设备协议(MQTT/HTTP/BLE)你有设备控制权或固件可改最完整,但需设备可达
B. 中枢转发通过 HA/网关等中转设备已接入中枢省采集代码,但有转换损失
C. 官方集成用厂商/平台官方接口平台有官方推送能力最省事,但字段受官方限制
D. 文件/快照定时拉取快照(REST API/文件)设备只提供快照接口简单,但精度受轮询间隔限制

二、核心取舍决策树

取舍 1:直采 vs 中枢转发

设备数据是否已被 HA/中枢接入?
  ├─ 是 → 中枢字段是否完整?
  │       ├─ 完整 → 用中枢(省采集代码)
  │       └─ 不完整 → 直采(补全字段)
  └─ 否 → 直采(唯一选择)

实测案例(泵):

  • HA 里泵只有 8 个实体,MQTT 直采有 43 个字段
  • 决策:MQTT 直采(HA 字段不完整,转发会丢 80% 字段)

实测案例(电表):

  • HA 转发精度与 MQTT 直采一致(57 行/10分钟)
  • 决策:可走 HA(无损失),但 MQTT 直采语义更原始

判断标准:先查中枢里字段是否完整,不完整就直采。


取舍 2:官方集成 vs 自写采集

维度官方集成自写采集
维护成本零(官方维护)高(自己维护)
字段完整性受官方限制完全可控
语义精度官方语义自定义语义
可靠性官方背书自己保证

实测案例(HA InfluxDB vs Redpanda):

  • HA InfluxDB:全精度、官方维护、字段全(device_class/unit/friendly_name)
  • 但:丢 old_state、丢 unavailable/unknown
  • Redpanda:有 old_state、有 quality,但 60 秒精度

决策:

  • 要完整状态语义(old_state、quality)→ 必须自写(官方不给)
  • 只要当前值 → 官方集成足够

取舍 3:全精度 vs 降采样

方式数据量精度适用
全精度(state_changed 都记)大(50 万行/天)秒级波动可见事件检测、快速波动分析
定时轮询(60s)小(8 万行/天)分钟级趋势分析、常态监控
变化才记最小(只记跳变)精确到跳变时刻状态类、事件类

实测对比:

  • HA InfluxDB:50 万行/天(全精度)
  • Redpanda 轮询:8 万行/天(60 秒)
  • 同样信息,6 倍数据量差

决策:

  • 要抓快速波动(泵压力振荡、开关抖动)→ 全精度
  • 只要趋势/常态 → 降采样足够(省 80% 存储)

取舍 4:统一表 vs 分表

方案优点缺点
统一表(obs_numeric 所有数值一张表)跨源分析一条 SQL、统一语义需统一字段契约
分表(每源一张表)语义独立、互不影响跨源分析要 JOIN

实测案例:

  • 统一表 obs_numeric:泵/电表/水表同表,一条 SQL 跨三系统分析
  • 分表 ha_observations:HA 官方宽表,字段更全但独立

决策:

  • 要做跨源关联分析(“泵启动时电表怎么变”)→ 统一表
  • 各源独立分析为主 → 分表可接受

注意:统一表需要统一字段契约(entity_id/metric_name/unit),否则查询会乱。


取舍 5:tag vs field(时序库特有)

字段类型用途例子
tag(主键/索引)稳定标识、过滤分组device_id、entity_id、metric_name
field(测量值)高基数数值、状态值value、state、temperature

实测教训:

  • 把 friendly_name 当 tag → 改名就换时间序列(历史断裂)
  • 把 state 当 tag → 状态翻转就换序列(查询断裂)

决策:

  • 稳定标识(device_id、metric_name、domain)→ tag
  • 会变的值(状态、数值、friendly_name)→ field

绝对不要:把高基数数值(温度值、功率值)当 tag → series 爆炸。


取舍 6:宽表 vs 长表

形态结构适用
宽表(一行多字段)ts, device, power, voltage, temp, wifi一次遥测快照(多字段消息)
长表(一行一指标)ts, device, metric, value多源统一观测

实测对比:

  • HA InfluxDB:宽表 46+ 列(attributes 全展开),字段全但列多
  • obs_numeric:长表 12 列,统一契约但需映射

决策:

  • 设备一次发多字段(泵 43 字段)→ 宽表自然,但列数失控时要收敛
  • 多源统一观测 → 长表(obs_numeric 模式)

取舍 7:成熟组件 vs 自写

方案维护成本适用
Redpanda Connect低(YAML 配置)MQTT/HTTP 摄入、写 SQL 库
自写 Python/Node高(代码维护)特殊协议(WebSocket 多步握手)、复杂语义

实测边界:

  • Redpanda 的 websocket input 只支持单条 open_message → HA 多步握手接不了
  • Redpanda 的 sql_raw 参数化 → 避免 SQL 注入,比自写拼 SQL 安全

决策:

  • 标准协议(MQTT/HTTP)→ Redpanda
  • 特殊协议(WebSocket 多步握手、命令式查询)→ 自写薄脚本(但可用 subprocess 接入 Redpanda)

取舍 8:可靠性设计

机制作用代价
QoS 0最省事中断必丢(无法挽回)
QoS 1/2保证送达需发布端支持(固件决定)
sqlite buffer进程崩溃不丢已收到消息磁盘 I/O
memory buffer最快崩溃丢数据

实测验证:

  • sqlite buffer:kill -9 后恢复 6,229 条,零重复
  • memory buffer:kill 后只恢复 1 条

决策:

  • 数据不能丢 → sqlite buffer 必选(memory 是默认陷阱)
  • 可接受丢失 → memory 够快

注意:MQTT 的 QoS 由发布端决定,订阅端请求 QoS 2 也收不到 QoS 0 以上的消息。


三、实战决策流程图

拿到一个新设备/数据源
    │
    ├─ 1. 协议是什么?
    │   ├─ MQTT → Redpanda mqtt input(首选)
    │   ├─ HTTP GET → Redpanda http_client(简单)
    │   ├─ WebSocket 多步握手 → 自写薄脚本 + subprocess
    │   └─ 其他 → 评估 Redpanda 是否有对应 input
    │
    ├─ 2. 数据语义是什么?
    │   ├─ 连续数值 → obs_numeric(长表统一)
    │   ├─ 状态跳变 → obs_event(离散域过滤 + old_state)
    │   ├─ 原始消息 → obs_message(完整 payload)
    │   └─ 目录名册 → PG dir_current(upsert)
    │
    ├─ 3. 精度要什么?
    │   ├─ 抓快速波动 → 全精度(50 万行/天可接受)
    │   └─ 趋势监控 → 降采样(60s 轮询,省 80%)
    │
    ├─ 4. 可靠性要什么?
    │   ├─ 不能丢 → sqlite buffer(实测恢复 6229 条)
    │   └─ 可接受丢失 → memory buffer(快但会丢)
    │
    ├─ 5. 跨源分析要做吗?
    │   ├─ 要 → 统一表(obs_numeric 同表)
    │   └─ 不要 → 分表可接受(各源独立)
    │
    └─ 6. 官方集成够用吗?
        ├─ 只要当前值 → 用官方(省维护)
        └─ 要 old_state/quality/原始 payload → 必须自写

四、典型场景速查

场景推荐方案理由
MQTT 设备遥测Redpanda mqtt input → obs_numeric原生支持、参数化 SQL、sqlite buffer
HA 数值采集HA InfluxDB 集成 → GT官方维护、全精度、字段全
HA 状态跳变自写 WebSocket 订阅 → obs_event官方不给 old_state,必须自写
设备名册同步Node + timer → PG dir_currentregistry 只在 WebSocket,无 REST
原始 payload 留档Redpanda pump-raw → obs_message重放/对账需要完整 JSON
快速波动检测全精度采集降采样会抹掉尖峰
磁盘敏感场景降采样 + 变化才写省 80% 存储

五、核心原则(一句话版)

  1. 按数据语义分表,不按数据源分表
  2. 观测留时序库,目录放关系库
  3. 官方组件优先,但语义缺口必须自写
  4. 全精度 vs 降采样:看是否需要抓快速波动
  5. 统一表 vs 分表:看是否做跨源关联分析
  6. 可靠性用 sqlite buffer,memory 是默认陷阱
  7. 归一化的目标是"减少维护负担",不是"形式统一"

这份方法论可直接用于新设备接入决策。核心判断顺序:协议 → 语义 → 精度 → 可靠性 → 跨源需求 → 官方能力边界。