部署 elasticsearch7.2.0 集群，以及elasticsearch7.x配置文件说明

admin管理员组

文章数量:1624783

大家好，我是Linux运维工程师 Linke 。今天来不及喊口号了，直接开始

好了，下面我先简单说两句。
之前我们生产用的是elasticsearch5.x ，现在要加一个新版本的elasticsearch7…2.0 ，因此记录以下 elasticsearch7.x 和之前 5.x 的配置有改变的地方。
1、x-pack 在es里自带了，不用另外安装。
2、配置文件中，集群发现有改动
3、不用安装 jdk ，这个版本自带的 openjdk12.0.1

---

还是老套路，先来个服务器分配

ip	部署服务
192.168.7.41	Elasticsearch
192.168.7.42	Elasticsearch、kibana
192.168.7.43	Elasticsearch

以下集群为 masternode 、datanode混用型，masternode 和 datanode 要分开的话，请见别人的文档，我这里目前用不到，就懒得记录了。

一、安装路径还是老地方，各节点解压elasticsearch-7.2.0-linux-x86_64.tar.gz 到 /data/ 目录下，然后整一个系统环境

tar xvf elasticsearch-7.2.0-linux-x86_64.tar.gz -C /data/
cd /data/elasticsearch-7.2.0
echo "* soft nofile 65535" >> /etc/security/limits.conf
echo "* hard nofile 65535" >> /etc/security/limits.conf
echo "vm.max_map_count=262144" >> /etc/sysctl.conf
sysctl -p

jdk环境变量加一下，加es包里自带的。jdk1.8我试了一下，启动不了
还要说的就是，这个环境变量我有一天突然发现不加也可以，7.x版本的es启动时如果没有系统环境变量会尝试在自己程序所在路径获取jdk环境。如果要在这台机器启动kibana的话，那可以加上，或者直接加到kibana的启动脚本中。

cat >> /etc/profile.d/java.sh <<EOF
export JAVA_HOME="/data/elasticsearch-7.2.0/jdk"
export PATH=\$JAVA_HOME/bin:\$PATH
export CLASSPATH=.:\$JAVA_HOME/lib/dt.jar:\$JAVA_HOME/lib/tools.jar
EOF
. /etc/profile.d/java.sh

二、各节点修改配置文件 config/elasticsearch.yml ，我书读的少，是个粗人，老的配置文件我直接删除，自个儿写一个
在 192.168.7.41 上

rm -fr config/elasticsearch.yml
cat >> config/elasticsearch.yml <<EOF
# ======================== Elasticsearch Configuration =========================
 cluster.name: cluster-Es
 node.name: node_41
 network.host: 192.168.7.41
 node.master: true
 node.data: true
 # head 插件需要这打开这两个配置
 http.cors.allow-origin: "*"
 http.cors.enabled: true
 http.max_content_length: 200mb
 # 可以选举的主节点
 cluster.initial_master_nodes: ["192.168.7.41:9300","192.168.7.42:9300","192.168.7.43:9300"]
 discovery.seed_hosts: ["192.168.7.41:9300","192.168.7.42:9300","192.168.7.43:9300"]
 gateway.recover_after_nodes: 2
 network.tcp.keep_alive: true
 network.tcp.no_delay: true
 transport.tcppress: true
 #集群内同时启动的数据任务个数，默认是2个
 cluster.routing.allocation.cluster_concurrent_rebalance: 16
 #添加或删除节点及负载均衡时并发恢复的线程个数，默认4个
 cluster.routing.allocation.node_concurrent_recoveries: 16
 #初始化数据恢复时，并发恢复线程的个数，默认4个
 cluster.routing.allocation.node_initial_primaries_recoveries: 16
 #开启 xpack 功能，如果要禁止使用密码，请将以下内容注释，直接启动不需要设置密码
 xpack.security.enabled: true
 xpack.security.transport.ssl.enabled: true
 xpack.security.transport.ssl.verification_mode: certificate
 xpack.security.transport.ssl.keystore.path: elastic-certificates.p12
 xpack.security.transport.ssl.truststore.path: elastic-certificates.p12
EOF

在 192.168.7.42 上

rm -fr config/elasticsearch.yml
cat >> config/elasticsearch.yml <<EOF
# ======================== Elasticsearch Configuration =========================
 cluster.name: cluster-Es
 node.name: node_42
 network.host: 192.168.7.42
 node.master: true
 node.data: true
 # head 插件需要这打开这两个配置
 http.cors.allow-origin: "*"
 http.cors.enabled: true
 http.max_content_length: 200mb
 # 可以选举的主节点
 cluster.initial_master_nodes: ["192.168.7.41:9300","192.168.7.42:9300","192.168.7.43:9300"]
 discovery.seed_hosts: ["192.168.7.41:9300","192.168.7.42:9300","192.168.7.43:9300"]
 gateway.recover_after_nodes: 2
 network.tcp.keep_alive: true
 network.tcp.no_delay: true
 transport.tcppress: true
 #集群内同时启动的数据任务个数，默认是2个
 cluster.routing.allocation.cluster_concurrent_rebalance: 16
 #添加或删除节点及负载均衡时并发恢复的线程个数，默认4个
 cluster.routing.allocation.node_concurrent_recoveries: 16
 #初始化数据恢复时，并发恢复线程的个数，默认4个
 cluster.routing.allocation.node_initial_primaries_recoveries: 16
 #开启 xpack 功能，如果要禁止使用密码，请将以下内容注释，直接启动不需要设置密码
 xpack.security.enabled: true
 xpack.security.transport.ssl.enabled: true
 xpack.security.transport.ssl.verification_mode: certificate
 xpack.security.transport.ssl.keystore.path: elastic-certificates.p12
 xpack.security.transport.ssl.truststore.path: elastic-certificates.p12
EOF

在 192.168.7.43 上

rm -fr config/elasticsearch.yml
cat >> config/elasticsearch.yml <<EOF
# ======================== Elasticsearch Configuration =========================
 cluster.name: cluster-Es
 node.name: node_43
 network.host: 192.168.7.43
 node.master: true
 node.data: true
 # head 插件需要这打开这两个配置
 http.cors.allow-origin: "*"
 http.cors.enabled: true
 http.max_content_length: 200mb
 # 可以选举的主节点
 cluster.initial_master_nodes: ["192.168.7.41:9300","192.168.7.42:9300","192.168.7.43:9300"]
 discovery.seed_hosts: ["192.168.7.41:9300","192.168.7.42:9300","192.168.7.43:9300"]
 gateway.recover_after_nodes: 2
 network.tcp.keep_alive: true
 network.tcp.no_delay: true
 transport.tcppress: true
 #集群内同时启动的数据任务个数，默认是2个
 cluster.routing.allocation.cluster_concurrent_rebalance: 16
 #添加或删除节点及负载均衡时并发恢复的线程个数，默认4个
 cluster.routing.allocation.node_concurrent_recoveries: 16
 #初始化数据恢复时，并发恢复线程的个数，默认4个
 cluster.routing.allocation.node_initial_primaries_recoveries: 16
 #开启 xpack 功能，如果要禁止使用密码，请将以下内容注释，直接启动不需要设置密码
 xpack.security.enabled: true
 xpack.security.transport.ssl.enabled: true
 xpack.security.transport.ssl.verification_mode: certificate
 xpack.security.transport.ssl.keystore.path: elastic-certificates.p12
 xpack.security.transport.ssl.truststore.path: elastic-certificates.p12
EOF

三、各节点修改 config/jvm.options 文件的 -Xms4g 和 -Xmx4g 为服务器的内存一半，我的服务器时 8G 内存，所以这里改成了 4G 。当然，这个值最大不要超过 32G 。
四、每个节点添加完后，先启动主节点。
1、生成TLS 和身份验证，将会在config下生成elastic-certificates.p12文件，将此文件传到其他两个节点的config目录，注意文件权限。

bin/elasticsearch-certutil cert -out config/elastic-certificates.p12 -pass ""

2、启动集群，es 集群不启动，下面的添加密码操作执行不了。每个节点执行（我是在root用户下指定适用 elastic 用户启动的，如果是在elastic 用户下执行，请直接启动）

useradd elastic
chown -R elastic. /data/elasticsearch-7.2.0
su - elastic -c "/data/elasticsearch-7.2.0/bin/elasticsearch -d"

3、创建Elasticsearch 集群密码，有两种方式，使用第二种。在主节点上执行，我所有的密码都设置成了 test_elastic
第一种： bin/elasticsearch-setup-passwords auto 各用户生成随机密码。
第二种： bin/elasticsearch-setup-passwords interactive 手动定义密码，可以设置如下图所示的用户密码。

bin/elasticsearch-setup-passwords interactive

设置完毕后测试一下密码是否可用
如果不适用用户密码访问，会报错

加上用户密码访问

curl -u "elastic:test_elastic" http://192.168.7.41:9200/_cat/nodes
192.168.7.42 13 96  1 0.00 0.01 0.05 mdi - node_42
192.168.7.41 65 95 10 0.00 0.01 0.05 mdi * node_41
192.168.7.43 68 88  0 0.00 0.01 0.05 mdi - node_43

五、启动kibana-7.2.0-linux-x86_64 ，随便找个节点，我是在 192.168.7.42 启动的kibana，连接了es的 192.168.7.43 节点
下载和此版本es对应的kibana包， kibana-7.2.0-linux-x86_64.tar.gz
1.修改 config/kibana.yml ，elasticsearch.username 和 elasticsearch.password 添写创建 elasticsearch 时创建的用户密码。

vim config/kibana.yml 
  server.port: 5601
  server.host: "192.168.7.42"
  elasticsearch.hosts: ["http://192.168.7.43:9200"]
  elasticsearch.username: "kibana"
  elasticsearch.password: "test_elastic"

2、启动
使用root用户启动
nohup ./bin/kibana --allow-root &
3、浏览器访问kibana，输入用户密码，注意这里要用elastic用户登录，这是默认的管理员用户。elastic test_elastic ，如果用别的用户密码登录会报错。
192.168.7.42:5601

登录后可以看到，监控是自带的。

---

时间紧迫，顾不上美观了，下面直接贴配置文件说明

cluster.name: ES-Cluster
#ES集群名称，同一个集群内的所有节点集群名称必须保持一致

node.name: ES-master-10.150.55.94
#ES集群内的节点名称，同一个集群内的节点名称要具备唯一性

node.master: true
#允许节点是否可以成为一个master节点，ES是默认集群中的第一台机器成为master，如果这台机器停止就会重新选举

node.data: false
#允许该节点存储索引数据（默认开启）
#关于Elasticsearch节点的角色功能详解，请看：https://www.dockerc/elasticsearch-master-or-data/

path.data: /data/ES-Cluster/master/ES-master-10.150.55.94/data1,/data/ES-Cluster/master/ES-master-10.150.55.94/data2
#ES是搜索引擎，会创建文档，建立索引，此路径是索引的存放目录，如果我们的日志数据较为庞大，那么索引所占用的磁盘空间也是不可小觑的
#这个路径建议是专门的存储系统，如果不是存储系统，最好也要有冗余能力的磁盘，此目录还要对elasticsearch的运行用户有写入权限
#path可以指定多个存储位置，分散存储，有助于性能提升，以至于怎么分散存储请看详解https://www.dockerc/elk-theory-elasticsearch/

path.logs: /data/ES-Cluster/master/ES-master-10.150.55.94/logs
#elasticsearch专门的日志存储位置，生产环境中建议elasticsearch配置文件与elasticsearch日志分开存储

bootstrap.memory_lock: true
#在ES运行起来后锁定ES所能使用的堆内存大小，锁定内存大小一般为可用内存的一半左右；锁定内存后就不会使用交换分区
#如果不打开此项，当系统物理内存空间不足，ES将使用交换分区，ES如果使用交换分区，那么ES的性能将会变得很差

network.host: 10.150.55.94
#es绑定地址，支持IPv4及IPv6，默认绑定127.0.0.1；es的HTTP端口和集群通信端口就会监听在此地址上

network.tcp.no_delay: true
#是否启用tcp无延迟，true为启用tcp不延迟，默认为false启用tcp延迟

network.tcp.keep_alive: true
#是否启用TCP保持活动状态，默认为true

network.tcp.reuse_address: true
#是否应该重复使用地址。默认true，在Windows机器上默认为false

network.tcp.send_buffer_size: 128mb
#tcp发送缓冲区大小，默认不设置

network.tcp.receive_buffer_size: 128mb
#tcp接收缓冲区大小，默认不设置

transport.tcp.port: 9301
#设置集群节点通信的TCP端口，默认就是9300

transport.tcppress: true
#设置是否压缩TCP传输时的数据，默认为false

http.max_content_length: 200mb
#设置http请求内容的最大容量，默认是100mb

http.cors.enabled: true
#是否开启跨域访问

http.cors.allow-origin: “*”
#开启跨域访问后的地址限制，*表示无限制

http.port: 9201
#定义ES对外调用的http端口，默认是9200

discovery.zen.ping.unicast.hosts: [“10.150.55.94:9301”, “10.150.55.95:9301”,“10.150.30.246:9301”] #在Elasticsearch7.0版本已被移除，配置错误
#写入候选主节点的设备地址，来开启服务时就可以被选为主节点
#默认主机列表只有127.0.0.1和IPV6的本机回环地址
#上面是书写格式，discover意思为发现，zen是判定集群成员的协议，unicast是单播的意思，ES5.0版本之后只支持单播的方式来进行集群间的通信，hosts为主机
#总结下来就是：使用zen协议通过单播方式去发现集群成员主机，在此建议将所有成员的节点名称都写进来，这样就不用仅靠集群名称cluster.name来判别集群关系了

discovery.zen.minimum_master_nodes: 2 #在Elasticsearch7.0版本已被移除，配置无效
#为了避免脑裂，集群的最少节点数量为，集群的总节点数量除以2加一

discovery.zen.fd.ping_timeout: 120s #在Elasticsearch7.0版本已被移除，配置无效
#探测超时时间，默认是3秒，我们这里填120秒是为了防止网络不好的时候ES集群发生脑裂现象

discovery.zen.fd.ping_retries: 6 #在Elasticsearch7.0版本已被移除，配置无效
#探测次数，如果每次探测90秒，连续探测超过六次，则认为节点该节点已脱离集群，默认为3次

discovery.zen.fd.ping_interval: 15s #在Elasticsearch7.0版本已被移除，配置无效
#节点每隔15秒向master发送一次心跳，证明自己和master还存活，默认为1秒太频繁,

discovery.seed_hosts: [“10.150.55.94:9301”, “10.150.55.95:9301”,“10.150.30.246:9301”]
#Elasticsearch7新增参数，写入候选主节点的设备地址，来开启服务时就可以被选为主节点,由discovery.zen.ping.unicast.hosts:参数改变而来

cluster.initial_master_nodes: [“10.150.55.94:9301”, “10.150.55.95:9301”,“10.150.30.246:9301”]
#Elasticsearch7新增参数，写入候选主节点的设备地址，来开启服务时就可以被选为主节点

cluster.fault_detection.leader_check.interval: 15s
#Elasticsearch7新增参数，设置每个节点在选中的主节点的检查之间等待的时间。默认为1秒

discovery.cluster_formation_warning_timeout: 30s
#Elasticsearch7新增参数，启动后30秒内，如果集群未形成，那么将会记录一条警告信息，警告信息未master not fount开始，默认为10秒

cluster.join.timeout: 30s
#Elasticsearch7新增参数，节点发送请求加入集群后，在认为请求失败后，再次发送请求的等待时间，默认为60秒

cluster.publish.timeout: 90s
#Elasticsearch7新增参数，设置主节点等待每个集群状态完全更新后发布到所有节点的时间，默认为30秒

cluster.routing.allocation.cluster_concurrent_rebalance: 32
#集群内同时启动的数据任务个数，默认是2个

cluster.routing.allocation.node_concurrent_recoveries: 32
#添加或删除节点及负载均衡时并发恢复的线程个数，默认4个

cluster.routing.allocation.node_initial_primaries_recoveries: 32
#初始化数据恢复时，并发恢复线程的个数，默认4个

本文标签： 集群配置文件