反弹卡夫卡事件

本文介绍了反弹卡夫卡事件的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！ 问题描述

我计划设置MySQL到Kafka的流程，最终目标是计划一个流程，根据更改的数据重新计算MongoDB文档。

这可能涉及直接修补MongoDB文档，或运行将重新创建整个文档的进程。

我的问题是，如果MySQL数据库的一组更改都与一个MongoDB文档相关，那么我不想为每个更改实时重新运行重新计算过程，我想等待更改‘结算’，以便只在需要时运行重新计算过程。

有没有办法"揭穿"卡夫卡之流？例如，对于Kafka消费者，是否有一个定义良好的模式可以用来实现我想要的逻辑？

推荐答案

如果您使用的是Kafka Streams应用程序，您可以尝试使用suppress

它用于WindowedKStream和KTable阻止更新(&Q；)，对于速率限制或窗口结束时的通知非常有用。

关于www.confluent.de/blog/kafka-streams-take-on-watermarks-and-triggers/

有一个非常有用的解释