windows10上搭建ELK实践

编程知识更新时间:2023-05-02 16:47:21

前言
初次接触ELK还是在第一家外包公司的时候了，当时项目整体也是乱的不行，突然有一天驻留我们项目组的架构师给我们发了一个链接地址，告诉我们可以在这上面查看生产的日志信息。当时也是觉得牛逼的不行。后来换了一家公司，也接触多了通过ELK查看日志，排查问题。想着周末，自己在电脑上搞一搞如何搭建实现。

ElasticSearch是一个开源分布式搜索引擎，分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等
Logstash是一个完全开源的工具，可以对日志进行收集、分析、并将其存储供以后使用
kibana也是一个开源和免费的工具，它可以为Logstash和ES提供的日志分析友好的Web界面，可以帮助您汇总、分析和搜索重要数据日志

我们即将做的就是安装并启动这三个软件。

一、下载安装包

官网下载地址
到官网下载这三个压缩包，目前最新版本是7.6.1

启动这三个软件需要的是java环境，所以提前配好jdk

二、安装启动ElasticSearch

解压安装包，得到目录

打开config下的elasticsearch.yml文件，修改配置为

# 监听地址和端口
network.host: 127.0.0.1
http.port: 9200
# 跨域配置
http.cors.enabled: true
http.cors.allow-origin: "*"

启动ElasticSearch
两种方法：
1、进入E:\ELK\elasticsearch-7.6.1\bin 直接双击elasticsearch.ba
2、打开Windows PowerShell 进入E:\ELK\elasticsearch-7.6.1\bin 执行.\elasticsearch.bat或者.\elasticsearch
执行完成如图

打开浏览器，访问http://localhost:9200/ 出现下图即启动成功

安装elasticsearch-head插件（这是elasticsearch的一个web端管理插件，没有兴趣可以略过）
下载地址https://github/mobz/elasticsearch-head
如果感兴趣源码，可以用webstorm把项目Clone下来，也可以直接zip包
反正我是用IDE来整的有仪式感
这是一个前端项目，我们需要安装node环境利用node安装grunt插件

npm install -g grunt-cli

配置elasticsearch-head
在Gruntfile.js里可以配置插件启动后监听的端口

配置elasticsearch地址（默认就是监听本地的9200）

然后对项目进行初始化依赖

npm install

开始启动插件
在Terminal执行grunt server或者npm run start
执行成功如下图

打开浏览器访问http://localhost:9100/ 如下图即插件启动成功

三、安装启动Logstash

解压安装包得到如下目录

进入E:\ELK\logstash-7.6.1\config 新建配置文件logstash.conf 修改内容如下

input {
    file {
        type => "nginx_access"
        path => "E:/ELK/logs/logstash.log"
    }
}
output {
    elasticsearch {
        hosts => ["127.0.0.1:9200"]
        index => "access-%{+YYYY.MM.dd}"
    }
    stdout {
        codec => json_lines
    }
}

启动Logstash
打开Windows PowerShell 进入E:\ELK\logstash-7.6.1\bin 执行.

.\logstash.bat -f ../config/logstash.conf

启动成功如下图

四、安装启动Kibana

解压安装包得到目录

进入config下的kibana.yml 修改配置为

# 本机的端口
server.port: 5601
# 本机IP地址
server.host: "127.0.0.1"
# ES的服务IP+端口
elasticsearch.hosts: ["http://localhost:9200"]

启动kibana
打开Windows PowerShell 进入E:\ELK\kibana-7.6.1-windows-x86_64\bin 执行

.\kibana.bat

启动成功如下图

打开浏览器访问http://localhost:5601/ 如下图即启动成功

五、基于项目日志输出到Kibana查询

配置项目的logback日志输出地址为刚才logstash目录下logstash.conf里的配置地址E:\ELK\logs\logstash.log

启动项目启动完成后会在E:\ELK\logs\目录下生成一个日志文件

同时刷新观察elasticsearch-head页面出现如下图新增access-2020.03.07

在Kibna配置索引

配置完回到Discover页面选择access-*

调用项目接口刷新可查询到日志

今天就先到这了，改天再跟大家分享Kibna的那些玩法