Filebeat 使用 Modules 方式收集日志

01 Filebeat模块配置

Filebeat中Modules配置官方文档：官方配置文档

filebeat配置文件/etc/filebeat/filebeat.yml，配置模块路径

# =========================== Filebeat modules ================================
filebeat.config.modules:# Glob pattern for configuration loadingpath: ${path.config}/modules.d/*.yml # 模块路径，绝对路径是`/etc/filebeat/modules.d/`# Set to true to enable config reloadingreload.enabled: truereload.period: 10s

02 Filebeat模块使用

2.1 激活Filebeat要采集的模块

激活模块，在终端执行命令

filebeat modules list # 查看启动的模块和未启动模块
filebeat modules enable nginx # 启动Nginx模块

该启动命令的实质其实就是修改了模块配置文件目录/etc/filebeat/modules.d/下对应模块配置文件的后缀，将disable去掉，所以启动模块也可以直接通过修改模块配置文件后缀实现，如下操作也可以实现模块启动

mv /etc/filebeat/modules.d/nginx.yml.disabled /etc/filebeat/modules.d/nginx.yml

2.2 修改模块的配置文件

修改对应模块的配置文件，以Nginx为例，修改Nginx日志为普通格式

# 打开模块配置文件
vim /etc/filebeat/modules.d/nginx.yml 
# 修改模块配置文件内容如下，主要操作是添加日志文件路径
- module: nginx# Aess logsaess:enabled: truevar.paths: ["/var/log/nginx/aess.log"]# Error logserror:enabled: truevar.paths: ["/var/log/nginx/error.log"]

2.3 查看Modules收集的日志

重新启动Filebeat并查看使用Modules收集的Nginx日志数据

systemctl restart filebeat
ab -n 10 -c 10 172.16.255.131/ # 压测产生日志数据

使用ES-head查看使用模块收集的日志数据如下图所示

2.4 区分Nginx正常日志和错误日志

从上图可以看出，使用fileset.name标签标识的内容区分Nginx的正常日志aess和错误日志error。所以在索引设置中可以使用如下配置区分模块方式收集的Nginx日志类型

# ---------------------------- Elasticsearch Output ----------------------------
output.elasticsearch:hosts: ["172.16.255.131:9200"]indices:- index: "nginx-modules-aess-%{[agent.version]}-%{+yyyy.MM}"when.contains:fileset.name: "aess"- index: "nginx-modules-error-%{[agent.version]}-%{+yyyy.MM}"when.contains:fileset.name: "error"

2.5 查看模块分类型收集的日志

重新启动Filebeat并查看使用Modules收集的Nginx日志数据

systemctl restart filebeat
ab -n 10 -c 10 172.16.255.131/ # 压测产生日志数据