本文介绍了如何将 JavaPairDStream 的结果写入 Spark Streaming 上的输出 kafka 主题?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
限时送ChatGPT账号..我正在寻找一种在输出 kafka 主题中编写 Dstream 的方法,仅当微批处理 RDD 吐出一些东西时.
I'm looking for a way to write a Dstream in an output kafka topic, only when the micro-batch RDDs spit out something.
我在 Java8(均为最新版本)中使用 Spark Streaming 和 spark-streaming-kafka 连接器
I'm using Spark Streaming and spark-streaming-kafka connector in Java8 (both latest versions)
我想不通.
感谢您的帮助.
推荐答案
如果 dStream 包含要发送到 Kafka 的数据:
if dStream contains data that you want to send to Kafka:
dStream.foreachRDD(rdd -> {
rdd.foreachPartition(iter ->{
Producer producer = createKafkaProducer();
while (iter.hasNext()){
sendToKafka(producer, iter.next())
}
}
});
因此,您为每个 RDD 分区创建一个生产者.
So, you create one producer per each RDD partition.
这篇关于如何将 JavaPairDStream 的结果写入 Spark Streaming 上的输出 kafka 主题?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
更多推荐
[db:关键词]
发布评论