01 Filebeat模块配置
Filebeat中Modules配置官方文档:官方配置文档
filebeat配置文件/etc/filebeat/filebeat.yml
,配置模块路径
# =========================== Filebeat modules ================================
filebeat.config.modules:# Glob pattern for configuration loadingpath: ${path.config}/modules.d/*.yml # 模块路径,绝对路径是`/etc/filebeat/modules.d/`# Set to true to enable config reloadingreload.enabled: truereload.period: 10s
02 Filebeat模块使用
2.1 激活Filebeat要采集的模块
激活模块,在终端执行命令
filebeat modules list # 查看启动的模块和未启动模块
filebeat modules enable nginx # 启动Nginx模块
该启动命令的实质其实就是修改了模块配置文件目录/etc/filebeat/modules.d/
下对应模块配置文件的后缀,将disable
去掉,所以启动模块也可以直接通过修改模块配置文件后缀实现,如下操作也可以实现模块启动
mv /etc/filebeat/modules.d/nginx.yml.disabled /etc/filebeat/modules.d/nginx.yml
2.2 修改模块的配置文件
修改对应模块的配置文件,以Nginx为例,修改Nginx日志为普通格式
# 打开模块配置文件
vim /etc/filebeat/modules.d/nginx.yml
# 修改模块配置文件内容如下,主要操作是添加日志文件路径
- module: nginx# Aess logsaess:enabled: truevar.paths: ["/var/log/nginx/aess.log"]# Error logserror:enabled: truevar.paths: ["/var/log/nginx/error.log"]
2.3 查看Modules收集的日志
重新启动Filebeat并查看使用Modules收集的Nginx日志数据
systemctl restart filebeat
ab -n 10 -c 10 172.16.255.131/ # 压测产生日志数据
使用ES-head查看使用模块收集的日志数据如下图所示
2.4 区分Nginx正常日志和错误日志
从上图可以看出,使用fileset.name
标签标识的内容区分Nginx的正常日志aess和错误日志error。所以在索引设置中可以使用如下配置区分模块方式收集的Nginx日志类型
# ---------------------------- Elasticsearch Output ----------------------------
output.elasticsearch:hosts: ["172.16.255.131:9200"]indices:- index: "nginx-modules-aess-%{[agent.version]}-%{+yyyy.MM}"when.contains:fileset.name: "aess"- index: "nginx-modules-error-%{[agent.version]}-%{+yyyy.MM}"when.contains:fileset.name: "error"
2.5 查看模块分类型收集的日志
重新启动Filebeat并查看使用Modules收集的Nginx日志数据
systemctl restart filebeat
ab -n 10 -c 10 172.16.255.131/ # 压测产生日志数据
更多推荐
方式,日志,Filebeat,Modules
发布评论