admin管理员组

文章数量:1641878

Kafka自动宕机问题

本博客主要解决的是在运行flink程序时，Kafka在启动几秒后出现自动宕机的问题，从运行程序的情况下，主要有两个方面的问题和解决措施。

1.log日志所在内存满

在运行flink程序时，Kafka产生数据会生成两个日志目录，一个生成在Kafka目录下的log目录用来存储日志信息，一个在/config/server.properties配置文件中设置的log.dirs，为存放数据的日志。
由于运行flink程序，在不间断的产生数据，很容易造成分区内存满，导致Kafka崩溃。因此需要把目录改为内存较大的分区，并经常删除日志。
这里介绍一个简单的方法，就是为当前的用户空间创建软链接，使之指向较大的分区，逻辑上存储目录仍是当前空间，但物理上是存储在一个较大的空间。

2.jre内存满

当没有出现第一个问题时，查看Kafka日志发现报jre内存满的问题。最后发现是程序运行过程中产生的topic一直没有删除，导致内存满，进而Kafka崩溃。主要分以下几个步骤解决：(当然需要把程序都停下来)
第一：
进入到/config/server.properties，设置

delete.topic.enable=true

如果本步骤没有设置，则调用Kafka的delete删除命令将无法真正将topic删除，而是显示marked for deletion
第二：
调用命令删除topic：

./bin/ka

本文标签： 原因Kafka

版权声明：本文标题：kafka自动宕机原因分析和解决 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://www.elefans.com/xitong/1729330742a1196362.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。