集群HA高可用配置解析"/>
flink集群HA高可用配置解析
flink集群HA高可用配置解析
flink-conf.yaml
jobmanager.rpc.address: hadoop01【注意。HA的需要按照机器分配】
jobmanager.rpc.port: 6123
jobmanager.heap.mb: 1024
taskmanager.heap.mb: 1024
taskmanager.numberOfTaskSlots: 2
taskmanager.memory.preallocate: false
parallelism.default: 1
jobmanager.web.port: 8081
taskmanager.tmp.dirs: /opt/cdh/flink-1.5.0/tmp
#开启HA
state.backend: filesystem
state.backend.fs.checkpointdir: hdfs://hadoop01:9000/flink-checkpoints
high-availability: zookeeper
high-availability.storageDir: hdfs://hadoop01:9000/flink/ha/
high-availability.zookeeper.quorum: hadoop01:2181,hadoop02:2181,hadoop03:2181
high-availability.zookeeper.client.acl: open
参数解释：
state.backend 启用检查点，支持两种后端备份点：
jobmanager：内存状态，备份到JobManager的 ZooKeeper的内存。应仅用于最小状态（Kafka偏移量）或测试和本地调试。
filesystem：状态在TaskManager的内存中，并且状态快照存储在文件系统中。支持Flink支持的所有文件系统，例如HDFS，S3 ...state.backend.fs.checkpointdir：用于将检查点存储在Flink支持的文件系统中的目录。注意：状态后端必须可以从JobManager访问，file://仅用于本地设置
high-availability: zookeeper 定义用于群集执行的高可用性模式
high-availability.storageDir
用于存储JobManager元数据的目录; 这是持久的状态后端，只有一个指向这个状态的指针存储在ZooKeeper中。完全像检查点目录一样，它必须可以从JobManager访问
high-availability.zookeeper.quorum zookeeper的地址
High Availability (HA)
| Key | Default | Description |
|---|---|---|
| high-availability | “NONE” | 定义用于集群执行的高可用性模式。要启用高可用性，请将此模式设置为“ ZOOKEEPER”或指定工厂类的FQN。 |
| high-availability.cluster-id | “/default” | Flink群集的ID，用于将多个Flink群集彼此分开。需要为独立群集设置，但是会在YARN和Mesos中自动推断出来。 |
| high-availability.job.delay | (none) | 故障转移后JobManager恢复当前作业之前的时间。 |
| high-availability.jobmanager.port | “0” | 作业管理器在高可用性模式下使用的可选端口（范围）。 |
| high-availability.storageDir | (none) | Flink将元数据保留在高可用性设置中的文件系统路径（URI）。 |
ZooKeeper-based HA Mode
| Key | Default | Description |
|---|---|---|
| high-availability.zookeeper.client.acl | “open” | 定义要在ZK节点上配置的ACL（open | creator）。如果ZooKeeper服务器配置的“ authProvider”属性映射为使用SASLAuthenticationProvider，并且群集配置为以安全模式（Kerberos）运行，则可以将配置值设置为“ creator”。 |
| high-availability.zookeeper.client.connection-timeout | 15000 | 定义ZooKeeper的连接超时（以毫秒为单位）。 |
| high-availability.zookeeper.client.max-retry-attempts | 3 | 定义客户端放弃之前的连接重试次数。 |
| high-availability.zookeeper.client.retry-wait | 5000 | 定义连续重试之间的间隔（以毫秒为单位）。 |
| high-availability.zookeeper.client.session-timeout | 60000 | 定义ZooKeeper会话的会话超时（以毫秒为单位）。 |
| high-availability.zookeeper.path.checkpoint-counter | “/checkpoint-counter” | 检查点计数器的ZooKeeper根路径（ZNode）。 |
| high-availability.zookeeper.path.checkpoints | “/checkpoints” | 完整检查点的ZooKeeper根路径（ZNode）。 |
| high-availability.zookeeper.path.jobgraphs | “/jobgraphs” | 作业图的ZooKeeper根路径（ZNode） |
| high-availability.zookeeper.path.latch | “/leaderlatch” | 定义用于选举领导者的领导者锁存器的znode。 |
| high-availability.zookeeper.path.leader | “/leader” | 定义领导者的znode，其中包含领导者的URL和当前领导者会话ID。 |
| high-availability.zookeeper.path.mesos-workers | “/mesos-workers” | ZooKeeper根路径，用于持久保存Mesos工作程序信息。 |
| high-availability.zookeeper.path.root | “/flink” | Flink将其条目存储在ZooKeeper中的根路径。 |
| high-availability.zookeeper.path.running-registry | “/running_job_registry/” | |
| high-availability.zookeeper.quorum | (none) | 使用ZooKeeper在高可用性模式下运行Flink时要使用的ZooKeeper仲裁。 |
更多推荐
flink集群HA高可用配置解析
发布评论