概念定义
lambda 为一份数据跑两套系统:快速近似层与慢速精确层,查询时再调和。Kappa 的洞见是:日志可重放,则一个流处理器身兼两职——重放得精确、连续处理得新鲜。
工作机制
事件追加到持久有序日志;处理器持续消费并写服务视图。重处理时,用新版本处理器从零偏移与现役并行重放整条日志,完成后切换服务层。日志是记录系统,视图是可抛弃的派生物。
使用场景
事件形态主导的管线、想要单一心智模型与单一代码库的团队、以及视图逻辑变化频繁到双轨维护成为痛点的场景。
常见误区
“Kappa 消灭批处理”的准确说法是“批成为流的特例:全量重放同一处理器”。日志保留期必须覆盖你接受的最长重处理窗口,否则新视图无法回填——带键压缩可以约束存储。改写处理逻辑却不重放历史,旧事件的视图就永远停留在旧逻辑。全历史昂贵变换的重放是 O(日志长度) 级工程,需要检查点与分区并行;确实需要临时扫描的查询由湖仓引擎补位而非竞争。顺序与迟到事件必须在处理器内处理——批层不再兜底。