admin管理员组文章数量:1566678
一、elasticsearch简介
Elasticsearch 是一个开源的分布式搜索分析引擎，建立在一个全文搜索引擎库 Apache Lucene基础之上。
Elasticsearch 不仅仅是 Lucene，并且也不仅仅只是一个全文搜索引擎：
一个分布式的实时文档存储，每个字段 可以被索引与搜索
一个分布式实时分析搜索引擎
能胜任上百个服务节点的扩展，并支持 PB 级别的结构化或者非结构化数据
elasticsearch应用场景：
信息检索
日志分析
业务数据分析
数据库加速
运维指标监控
官网：https://www.elastic.co/cn/
二、elasticsearch安装与配置
软件下载：
https://elasticsearch/download/
2.1安装软件
rpm -ivh elasticsearch-7.6.1.rpm 7.6版本自带jdk
[root@server4 ~]# yum install -y elasticsearch-7.6.1-x86_64.rpm
[root@server4 ~]# cd /etc/elasticsearch/
[root@server4 elasticsearch]# ls
elasticsearch.keystore
elasticsearch.yml
jvm.options 默认开启Java虚拟机使用内存1G（在创建虚拟机时最好给2G内存）
log4j2.properties
role_mapping.yml
roles.yml users
users_roles
2.2更改配置文件elasticsearch.yml
[root@server4 elasticsearch]# vim /etc/elasticsearch/elasticsearch.yml
17 cluster.name: my-se 集群名称
23 node.name: server4 解析节点主机名称
33 path.data: /var/lib/elasticsearch 数据存储目录
37 path.logs: /var/log/elasticsearch 日志存储目录
43 bootstrap.memory_lock: true 内存锁定打开
55 network.host: 172.25.254.4 主机ip
59 http.port: 9200 端口http服务
72 cluster.initial_master_nodes: ["server4"] 添加集群节点
2.3修改系统限制
[root@server4 elasticsearch]# vim /etc/security/limits.conf
elasticsearch soft memlock unlimited
elasticsearch hard memlock unlimited
elasticsearch - nofile 65536 不能超过内核处理的最大文件数量
elasticsearch - nproc 4096
[root@server4 ~ ] vim /etc/elasticsearch/jvm.options
-Xms1g
-Xmx1g
Xmx设置不超过物理RAM的50％，以确保有足够的物理RAM留给内核文件系统缓存。但不要超过32G。
2.4修改systemd启动文件
vim /usr/lib/systemd/system/elasticsearch.service
[Service]
在service语句块下添加: LimitMEMLOCK=infinity
systemctl daemon-reload 刷新
systemctl start elasticsearch 重启
2.5把swap分区关掉，因为elasticsearch服务占内存
[root@server4 vm]# pwd
/proc/sys/vm
[root@server4 vm]# cat swappiness
30
[root@server4 vm]# echo 0 > swappiness 该为零不使用
或者直接关闭
[root@server4 vm]# swapoff -a
做开机不启动
[root@server4 ~]# vim /etc/fstab 注释掉
#/dev/mapper/rhel-swap swap swap defaults 0 0
2.6启动服务
[root@server4 ~]# systemctl start elasticsearch.service
[root@server4 ~]# systemctl enable elasticsearch.service
2.7测试访问节点
三、elasticsearch插件安装
下载elasticsearch-head插件地址：
wget https://github/mobz/elasticsearch-head/archive/master.zip
head插件本质上是一个nodejs的工程，因此需要安装node：
wget https://mirrors.tuna.tsinghua.edu/nodesource/rpm_9.x/el/7/x86_64/nodejs-9.11.2-1nodesource.x86_64.rpm
[root@server4 ~]# yum install -y unzip
[root@server4 ~]# unzip master.zip
[root@server4 ~]# yum install -y nodejs-9.11.2-1nodesource.x86_64.rpm 安装
[root@server4 ~]# yum install -y bzip2
[root@server4 ~]# tar jxf phantomjs-2.1.1-linux-x86_64.tar.bz2
[root@server4 ~]# cd phantomjs-2.1.1-linux-x86_64/
[root@server4 phantomjs-2.1.1-linux-x86_64]# ls
bin ChangeLog examples LICENSE.BSD README.md third-party.txt
[root@server4 phantomjs-2.1.1-linux-x86_64]# cd bin/
[root@server4 bin]# ls
phantomjs
[root@server4 bin]# cp phantomjs /usr/local/bin/
更换npm源安装
[root@server4 ~]# cd elasticsearch-head-master/
[root@server4 elasticsearch-head-master]# npm install --registry=https://registry.npm.taobao
npm notice created a lockfile as package-lock.json. You should commit this file.
npm WARN elasticsearch-head@0.0.0 license should be a valid SPDX license expression
npm WARN optional SKIPPING OPTIONAL DEPENDENCY: fsevents@1.2.13 (node_modules/fsevents):
npm WARN notsup SKIPPING OPTIONAL DEPENDENCY: Unsupported platform for fsevents@1.2.13: wanted {"os":"darwin","arch":"any"} (current: {"os":"linux","arch":"x64"})
up to date in 3.481s
修改ES主机ip和端口
[root@server4 elasticsearch-head-master]# cd _site
[root@server4 _site]# ls
app.css app.js background.js base fonts i18n.js index.html lang manifest.json vendor.css vendor.js
[root@server4 _site]# vim app.js
4374：this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://172.25.254.4:9200";
[root@server4 _site]# npm run start & 启动head插件，后台运行
[1] 9831
[root@server4 _site]# 启动后直接回车
> elasticsearch-head@0.0.0 start /root/elasticsearch-head-master
> grunt server
(node:9841) ExperimentalWarning: The http2 module is an experimental API.
Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100
[root@server4 elasticsearch]# netstat -tnpl | grep 9100 查看端口
tcp 0 0 0.0.0.0:9100 0.0.0.0:* LISTEN 9841/grunt
修改ES跨域主持
# vim /etc/elasticsearch/elasticsearch.yml
60： http.cors.enabled: true # 是否支持跨域
61： http.cors.allow-origin: "*" # *表示支持所有域名
systemctl restart elasticsearch.service 重启服务
查看ES状态
灰色标识没有副本
黄色代表没有主分片丢失
以相同的方法再安装两个ES节点，配置如下
server5、server6
yum install elasticsearch-7.6.1-x86_64.rpm
vim /etc/elasticsearch/elasticsearch.yml
17： cluster.name: my-es
23： node.name: server5/6
33： path.data: /var/lib/elasticsearch
37 path.logs: /var/log/elasticsearch
43： bootstrap.memory_lock: true 可以注释掉
55： network.host: 172.25.254.5/6
59： http.port: 9200
60： http.cors.enabled: true
61： http.cors.allow-origin: "*"
72： discovery.seed_hosts: ["server4", "serve5", "server6"]
76： cluster.initial_master_nodes: ["server4", "server5", "server6"]
[root@server6 ~]# vim /etc/security/limits.conf
elasticsearch soft memlock unlimited
elasticsearch hard memlock unlimited
elasticsearch - nofile 65536
elasticsearch - nproc 4096
详细操作与配置server4相同
systemctl daemon-reload
server4配置 文件修改
72 discovery.seed_hosts: ["server4", "server5", "server6"]
76 cluster.initial_master_nodes: ["server4", "server5", "server6"]
systemctl restart elasticsearch.service 所有主机重启服务
server6：master节点，server5/6工作节点
四、elasticsearch节点角色
4.1Master：
主要负责集群中索引的创建、删除以及数据的Rebalance等操作。Master不负责数据的索引和检索，所以负载较轻。当Master节点失联或者挂掉的时候，ES集群会自动从其他Master节点选举出一个Leader。
4.2Data Node：
主要负责集群中数据的索引和检索，一般压力比较大。
4.3Coordinating Node：
原来的Client node的，主要功能是来分发请求和合并结果的。所有节点默认就是Coordinating node，且不能关闭该属性。
4.4Ingest Node：
专门对索引的文档做预处理
五、elasticsearch节点优化
5.1在生产环境下，如果不修改elasticsearch节点的角色信息，在高数据量，高并发的场景下集群容易出现脑裂等问题。
默认情况下，elasticsearch集群中每个节点都有成为主节点的资格，也都存储数据，还可以提供查询服务。
5.2节点角色是由以下属性控制：
node.master: false|true
node.data: true|false
node.ingest: true|false
search.remote.connect: true|false
默认情况下这些属性的值都是true。
node.master：这个属性表示节点是否具有成为主节点的资格
注意：此属性的值为true，并不意味着这个节点就是主节点。
因为真正的主节点，是由多个具有主节点资格的节点进行选
举产生的。
node.data： 这个属性表示节点是否存储数据。
node.ingest: 是否对文档进行预处理。
search.remote.connect：是否禁用跨集群查询
5.3elasticsearch节点优化的多种组合
第一种组合：（默认）
所有都是true
node.master: true
node.data: true
node.ingest: true
search.remote.connect: true
这种组合表示这个节点即有成为主节点的资格，又存储数据。
如果某个节点被选举成为了真正的主节点，那么他还要存储数据，这样对于这个节点的压力就比较大了。
测试环境下这样做没问题，但实际工作中不建议这样设置。
第二种组合：（Data node）
node.master: false
node.data: true
node.ingest: false
search.remote.connect: false
这种组合表示这个节点没有成为主节点的资格，也就不参与选举，只会存储数据。
这个节点称为data(数据)节点。在集群中需要单独设置几个这样的节点负责存储数据。
后期提供存储和查询服务。
第三种组合：（master node）
node.master: true
node.data: false
node.ingest: false
search.remote.connect: false
这种组合表示这个节点不会存储数据，有成为主节点的资格，可以参与选举，有可能成为真正的主节点。
这个节点我们称为master节点。
第四种组合：（Coordinating Node）
全部false，也就是做查询
node.master: false
node.data: false
node.ingest: false
search.remote.connect: false
这种组合表示这个节点即不会成为主节点，也不会存储数据，
这个节点的意义是作为一个协调节点，主要是针对海量请求的时候可以进行负载均衡。
第五种组合：（Ingest Node）
node.master: false
node.data: false
node.ingest: true
search.remote.connect: false
这种组合表示这个节点即不会成为主节点，也不会存储数据，
这个节点的意义是ingest节点，对索引的文档做预处理。
vim /etc/elasticsearch/elasticsearch.yml
server5：
node.name: server5
node.master: true 可以成为master节点
node.data: true 也可以做数据存储
node.ingest: false
search.remote.connect: false
server6：
node.name: server6
node.master: true 只做master节点
node.data: false 不做数据存储
node.ingest: false
search.remote.connect: false
server4：
node.name: server4
node.master: true 可以成为master节点
node.data: true 也可以做数据存储
node.ingest: false
search.remote.connect: false
所有节点服务重启
[root@server4 ~ ]# cd /usr/share/elasticsearch/bin
[root@server4 bin]# ./elasticsearch-node repurpose 清空存储数据
5.4生产集群中可以对这些节点的职责进行划分
建议集群中设置3台以上的节点作为master节点，这些节点只负责成为主节点，维护整个集群的状态。
再根据数据量设置一批data节点，这些节点只负责存储数据，后期提供建立索引和查询索引的服务，这样的话如果用户请求比较频繁，这些节点的压力也会比较大。
所以在集群中建议再设置一批协调节点，这些节点只负责处理用户请求，实现请求转发，负载均衡等功能。
节点需求
master节点： 普通服务器即可(CPU、内存 消耗一般)
data节点： 主要消耗磁盘、内存。
path.data: data1,data2,data3
这样的配置可能会导致数据写入不均匀
建议只指定一个数据路径，磁盘可以使用raid0阵列，而不需要成本高的ssd。
Coordinating节点：对cpu、memory要求较高。
版权声明：本文标题：ELK（日志系统）——安装部署+服务配置+节点多种优化 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://www.elefans.com/dongtai/1725737039a1039844.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论